为了与ChatGPT竞争,Google发布了新的AI模型“PaLM2”。该模型使用了比之前推出的“PaLM”模型多了大约5倍的数据(token),但它的参数规模要小得多,因此被视为是更有效率的模型。
有关PaLM2的参数数量,PaLM的参数数量明确为5400亿,但PaLM2的参数数量尚未公开。然而,CNBC根据其5月16日获得的Google内部文件信息称,PaLM2的参数数量为3400亿。同一文档还指出,PaLM2的标记数为3万6千亿,而PaLM的学习标记数为7800亿。
通过模型的缩小,PaLM2比竞争模型更快,成本效益更高。实际上,人们想知道在哪些领域可以看到性能提升。在官方声明和官方技术报告中,PaLM2在常识推理、逻辑解释、数学、多语言对话和编码方面都有显着的改善。
推理、多语言、数学能力都有显著提高的PaLM2
在PaLM2的技术报告中,进行了多项推理测试,包括“WinoGrande”、“ARC-C”和“DROP”,并进行了与PaLM和GPT4的性能比较。结果显示,PaLM2不仅在所有方面都远远超过前任模型PaLM的分数,而且获得了与GPT4相匹配的分数,推理能力大幅改善。
例如,在WinoGrande测试中,PaLM2获得了90.9分,比PaLM的85.1分和GPT4的87.5分更高。在ARC-C测试中,PaLM2的得分为95.1,超过了PaLM的88.7,并逼近了GPT4的96.3。此外,在DROP测试中,PaLM2获得了85分,远远超过了PaLM的70.8分和GPT4的80.9分。
这些推理测试是用于开发大规模语言模型的推理问题数据集。例如,WinoGrande由4.4万个问题组成。
在数学能力方面,PaLM2也显示出了较大的改善。
对数学能力进行评估,使用了“MATH”、“GSM8K”和“MGSM”三个数据集,并针对PaLM和GPT4测试了PaLM2的得分。
“MATH”由12500个涉及高中学生的全部7个数学学科的问题组成。另一方面,“GSM8K”由8500个基于小学数学的文章问题组成。MGSM则是GSM8K的10种不同语言的多语言版本。
在MATH测试中,PaLM2获得了最高48.8分,远远超过了PaLM的8.8分。此前基于LaMDA或PaLM的Bard因其数学能力差评价而受到各种媒体的报道,但通过转向PaLM2,这种评价有望得到大幅改善。另外,PaLM2的48.8分也超过了GPT4的42.5分。
在GSM8K中,PaLM2的最高得分为92.2分,超过了GPT4的92分和PaLM的74.4分,并在MGSM中获得了最高87分,比其他模型更高。
在多语言能力方面,PaLM2也有显着进步。
根据技术报告,在日语、中文、意大利语、法语、西班牙语等的语言能力方面,PaLM2进行了高级水平的测试,结果显示,在所有语言中,PaLM2都大大超过前任模型PaLM。
例如,在中文笔记测试中,PaLM2得分为82%,而PaLM仅得分62%。在中文综合测试中,PaLM2获得了81%的分数,而PaLM仅获得46%的分数。在综合测试中,PaLM2甚至超过了合格线。此外,在西班牙语笔记测试中,PaLM2得分为67%,远高于PaLM的25%。在西班牙语综合测试中,PaLM2获得了83%的高分,这是时不时地获得了显著提高。
通过PaLM2的设计,Bard可以与ChatGPT平起平坐
自PaLM2推出以来,各种媒体已经对其性能进行了评估,通常与GPT4进行比较,结论是PaLM2性能良好。
作者使用搭载PaLM2的Bard进行了测试,发现它可以生成包括最新信息在内的输出。可见其比GPT4更胜一筹的地方有多个。
例如,当询问“Sony的新相机ZV-E1和iPhone 14 Pro哪个更好?”时,Bard生成了一个回答,介绍了每款相机的优缺点,并指出应根据需求进行选择。值得特别注意的是,Bard没有指定相机型号,但从提供的价格信息中,它准确地确定了目前最新型号“ZV-E1”。
另一方面,当询问同样的问题给GPT4时,它会回答“同种语言模型的信息只有到2021年9月为止,并且没有回答问题的信息”。
通过PaLM2的设计,Bard现在可以与ChatGPT平起平坐,但仍需注意可能陷入“错觉”的风险。
例如,当在输入“Peter Temin的《The Inflation Wars: A Modern History》是关于什么的?”时,Bard会生成回答“这是一本关于货币膨胀历史和政策的书籍。” 然而这样的书是不存在的。据2023年4月的报道,类似的提示已被输入到Bard中,并出现了类似的幻觉。
总的来说,谷歌的大规模语言模型经历了从LaMDA到PaLM,再到PaLM2的短暂发展,显示出明显的改进。我们期待看到它将如何进一步演化,并关注OpenAI等竞争对手的动态。
您也可以联系文章作者本人进行修改,若内容侵权或非法,可以联系我们进行处理。
任何个人或组织,转载、发布本站文章到任何网站、书籍等各类媒体平台,必须在文末署名文章出处并链接到本站相应文章的URL地址。
本站文章如转载自其他网站,会在文末署名原文出处及原文URL的跳转链接,如有遗漏,烦请告知修正。
如若本站文章侵犯了原著者的合法权益,亦可联系我们进行处理。
temp mail3天前0
Wonderful blog! I’d love to know your hosting provider—your site loads incredibly fast. If you have an affiliate link, please share it. I’d like my own site to run this smoothly!pinterest video downloader pocbi4天前0
Your blog is a testament to your passion for your subject matter. Your enthusiasm is infectious, and it's clear that you put your heart and soul into every post. Keep up the fantastic work!hi5个月前0
请问有详细一点的自己搭建的教程吗你好6个月前0
你好,可以再帮我看看吗? 我已经按照你的方法设定了,还是一样,wordpress后台的 Purge Varnish Cache 插件还是清除不到cache,依旧显示 the varnish control terminal is not responding at。谢谢https://mjj.today/i/Srk2Tz https://mjj.today/i/Srkcoi你好6个月前0
对,你说的没错,我配置的时候改了一些东西,现在我按照你的教学,可以启动了,网页可以缓存了,不过wordpress 清除cache 那个插件没用的,我输入本地回环地址127.0.0.1 :6082 ,再输入API key ,插件显示the varnish control terminal is not responding at 127.0.0.1:6082,就你图片那样,然后试一下点击清除cache 那里,他显示error,研究了一天,还是没有不行。你好6个月前1
你好,为啥我按照你的方法,到第三部分,去到真正后源的服务器设定Varnish 部分,我填了真正后源的IP跟端口跟域名,然后重启 Varnish ,就出现这样了? 这是怎么回事? 谢谢[Linux] AMH 7.1 https://amh.sh[varnish-6.6 start] ================================================== =========== [OK] varnish-6.6 is already installed. Could not delete 'vcl_boot.1713549650.959259/vgc.sym': No such file or directory Error: Message from VCC-compiler: VCL version declaration missing Update your VCL to Version 4 syntax, and add vcl 4.1; on the first line of the VCL files. ('/home/usrdata/varnish/default.conf' Line 1 Pos 1) ...#---Running VCC-compiler failed, exited with 2 VCL compilation failedchu6个月前0
很完善的教程‘hu6个月前0
我用gmail EMAIL_SERVER="smtp://********@gmail.com:bpyfv*********chry@smtp.gmail.com:587"