谷歌Bard_VS_Baize-7B_VS_文心一言体验对比

news/2024/7/11 2:27:53 标签: bard, 文心一言

2023年4月4日,来自加州大学圣迭戈分校、中山大学和微软亚研的研究者提出了Baize,该模型是让ChatGPT 自我对话,批量生成高质量多轮对话数据集,利用该数据集对LLaMA进行微调得到的(目前版本还没有RLHF)

关于Baize的详细介绍可以参考:https://mp.weixin.qq.com/s/zxElGfclNbBwTuDG4Qrxnw

  • 论文题目:Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data

  • 论文链接:https://arxiv.org/abs/2304.01196

  • Github:https://github.com/project-baize/baize/blob/main/README.md

  • 在线 Demo:https://huggingface.co/spaces/project-baize/baize-lora-7B

之前对LLM模型进行了相关的体验对比,感兴趣的可以阅读如下列表:

谷歌Bard_VS_百度文心一言

Bard vs. Bing vs. ChatGPT效果对比

文心一言 VS ChatGLM-6B对比

GPT4 VS ChatGPT,优劣势对比

下面使用Huggingface的在线demo进行体验,并且与谷歌Bard进行对比:

Note:体验的Prompt来自谷歌Bard_VS_百度文心一言

下面从ChatGLM-6B的六大方面进行测试对比

自我认知

Bard

文心一言

Baize-7B

结论:上述三个模型都有基本的自我认知

提纲写作

Bard

文心一言

Baize-7B

结论:Bard和文心一言给出了大纲的列表;而Baize-7B做了简单介绍,最后列出了NLP的相关任务;Baize-7B明显不如Bard和文心一言

文案写作

Bard

文心一言

Baize-7B

结论:Bard和文心一言都生成了一段文案,而Baize-7B只是把关键词split出来了;在生成新闻方面Baize-7B也弱于Bard和文心一言,并没有生成10个新闻,而是6个

邮件写作助手

Bard

文心一言

Baize-7B

结论:Baize-7B生成的邮件内容较短

信息抽取

Bard

文心一言

Baize-7B

结论:Bard的表现是最好的,提取信息最全,其他两个模型只提取了部分信息

角色扮演

Bard

文心一言

Baize-7B

结论:角色扮演方面Bard表现较好,而文心一言和Baize-7B几乎没有这样的能力

评论比较

Bard

文心一言

Baize-7B

结论:文心一言拒绝回答这样的问题,而Bard和Baize-7B都给出了自己的看法;

旅游向导

Bard

文心一言

Baize-7B

结论:在旅游推荐方面,上述三个模型都给出了答案,但是Baize-7B的答案没有换行,缺少条例性


http://www.niftyadmin.cn/n/355115.html

相关文章

软件测试的7个级别,做到3级已经超越80%测试人!

有人说:软件测试就是最low的点点点工作。 有人说:测试工作职位薪水到一定程度只能原地踏步无法提升 也有人说:测试行业相对于开发来说技术性很低,容易被取代。 这其实是对测试行业最大的误解。测试可深可浅,可窄可广…

pix2pixHD代码---readme

1:基础配置 要求大于等于11G的显卡,安装pytorch,下载代码。 2:测试 dataset文件中放的是一些例子,下载cityscape的预训练权重,放入到checkpoints文件夹下,测试模型。测试结果放在results文件夹…

java 实现在线编辑本地pdf文件内容

功能描述:将pdf文件上传到服务器,然后服务器读取上传的pdf文件内容,然后渲染到在线富文本中,再然后在富文本中修改完毕点击保存,再将上传的pdf文件内容修改为在线富文本中的内容 1、实现将PDF文件上传到服务器。2、读取…

ASP.NET Core系列学习(2)

Asp.net Core 6系列学习 文章目录 Asp.net Core 6系列学习Razor Pages Web 应用概述一、入门1.1 Pages 文件夹1.2 wwwroot文件夹1.3 appsettings.json1.4 Program.cs 二、添加模型2.1 添加数据模型2.2 搭建“电影”模型的基架2.3 创建和更新的文件 三.使用 EF 的迁移功能创建初…

C++判断大端小端

C判断大端小端 1. 基础知识 大端小端其实表示的是数据在存储器中的存放顺序。 大端模式:数据的高字节存放在内存的低地址中,而低字节则存放在高地址中。地址由小到大增加,数据则从高位向低位存放,这种存放方式符合人类的正常思维…

Axure教程—多色折线图(中继器)

本文将教大家如何用AXURE中的中继器制作多色折线图 一、效果介绍 如图: 预览地址:https://xpdm3g.axshare.com 下载地址:https://download.csdn.net/download/weixin_43516258/87814320 二、功能介绍 简单填写中继器内容即可动态显示值样…

吃鸡史:傻鸡是怎么进化并“称霸”世界的?

鸡,给我们的印象是温顺的:温顺地长大,温顺地下蛋,温顺地进油锅… 若是鸡祖宗们知道,有一天它们的鸡子鸡孙会进化成一群不会飞、只知道吃的傻鸡,几千年前的红原鸡骨怕是都要惊得飞出土了! 毕竟…

高级查询与优化:提升查询性能的技巧与策略

✅作者简介:热爱Java后端开发的一名学习者,大家可以跟我一起讨论各种问题喔。 🍎个人主页:Hhzzy99 🍊个人信条:坚持就是胜利! 💞当前专栏:MySQL 🥭本文内容&a…