ChatGPT解锁联网,无敌插件颠覆玩法

OpenAI冷不丁又宣布了惊爆全球的消息:ChatGPT可以集成第三方插件了!唯一的封印解除后,ChatGPT俨然已经迎来了属于自己的“全知全能”宇宙。网友直呼:AI的APP Store时刻已来!今早醒来,全网都炸锅了。

之前,大家都公认ChatGPT几乎能上天入地,无所不能,唯一的缺点就是——不能联网。因为它的训练数据集截止到21年9月,所以它对于这以后世界的了解,还是一片空白。

如今,这唯一的封印,也被OpenAI解除了。

今日凌晨,外网传来地震级消息:OpenAI已经为ChatGPT添加了插件,现在,ChatGPT能联网了!

OpenAI表示,添加插件后,ChatGPT不仅会自己看网页,还能和网站互动。用OpenAI的话说,现在,其他服务都成了ChatGPT的“眼睛和耳朵”。

所以,人类要迎来史上首个真·全知全能AI了?

全知全能,ChatGPT全宇宙来了!

可以想象,现在的ChatGPT,已经变成了一个无所不包的生态系统。虽然很多应用尚在早期,还待探索,但ChatGPT能拓展的疆域,可以说是无限的。

李飞飞高徒、英伟达AI科学家Jim Fan激动地说,如果说曾经ChatGPT的横空出世可以看作“iPhone的出现”,今天第三方插件的集成,就是“iOS App Store”级别的事件。

咱们来看看,ChatGPT现在的能力有多惊人。

首先我们需要安装一波插件。

紧接着,就可以提问了。

比如,“我正在旧金山,这个周末想吃素食,能不能建议下,我周六去哪家参观,周日按什么食谱做菜?请用WolframAlpha计算出食谱的热量,最后在Instacart上订购食材。”

所有你需要的信息,立马完美呈现。

食谱出来后,它立马贴心地帮你在购物网站Instacart上下单,需要什么食材,ChatGPT已经帮你选好了。你需要做的,就是付个账。

能上网、会代码、擅分析,OpenAI诚意满满

ChatGPT官方提供的插件,可以分为三大类:

Web浏览器:在循环中添加必应搜索

代码解释器:在一个沙盒和防火墙的执行环境中添加一个实时的Python解释器

检索:对个人和组织文件进行语义搜索

Web浏览器

OpenAI做的第一款插件Web浏览器,可谓是诚意满满。

这一插件会利用新必应的API,在互联网上搜索问题的相关信息,然后给出具体答案。

比如你可以问ChatGPT:“今年奥斯卡获奖电影的票房和最近上映的电影相比,谁高谁低?”

它就会立刻上网进行搜索,然后给出答案。显然,这是它以前无法做到的事。

此外,ChatGPT还会根据查询的内容,判断是否需要给出必应的接口。

然后,我们就可以通过答案中的索引,跳转到具体的链接了。

虽然这个功能必应也能做到,但ChatGPT的插件不止能检索实时信息,还能绑定API,直接执行操作。

打个比方,必应可以告诉你航班和酒店,但ChatGPT能直接帮你订航班和酒店了!

这个浏览功能,使用的是必应的搜索API,微软在两方面下了大功夫:

(1)保证信息来源的可靠性和真实性; (2)开启“安全模式”,防止检索不适当的内容。插件在一个孤立的服务中运行,因此ChatGPT的浏览活动与其他部分是分开的。

所以,有了这一插件,你还会用必应吗?

目前,OpenAI从安全角度考虑,允许这个插件只支持GET请求,不支持POST。这意味着,它只能获取数据,却不能发送。

此外,OpenAI还做了一些爬虫限制,配置为robots.txt文件,以避开禁止抓取的内容。

如果在使用过程中出现“点击失败”,是正常的。

代码解释器

昨天,GitHub发布了一个基于GPT-4的代码生成工具GitHub X,已经让许多码农遭到降维打击。

而这次,OpenAI推出的“代码解释器”编程插件,动嘴编程序更强了。

目前,这一插件用的是处于实验阶段的ChatGPT模型。

该模型被放置在了一个受防火墙保护的沙盒中,并会分配一些少量的临时磁盘空间。

另外,在用户进行交流对话时,代码会被保存在会话中,可以随时调用。

这款解释器有几个特别的用例:

1. 解决定量和定性的数学问题;

2. 进行数据分析和可视化;

3 .快速转换文件格式。

随着这款插件的使用人群增加,OpenAI鼓励用户多进行尝试,挖掘出代码解释器更多的功能。

借助这个代码解释器,我们就能ChatGPT实现各种无敌的功能了!

比如,让ChatGPT编辑视频——只要给出一个指令,ChatGPT就会对上传视频文件进行处理,稍等片刻之后,就可以直接下载了。

没错,就是这么炸裂。

检索

此外,OpenAI开源了知识库检索插件的代码,允许用户托管他们自己的数据,并使其在ChatGPT内部可访问。

检索插件库的地址:https://github.com/openai/chatgpt-retrieval-plugin

这一插件可以从数据中获取最相关的文件片段,如文件、笔记、电子邮件或公共文档。

在此,开发者可以部署自己的插件版本,并在ChatGPT注册。通过嵌入OpenAI,允许开发者选择一个矢量数据库(Milvus、Pinecone、Qdrant、Redis、Weaviate或Zilliz)对文档进行索引和搜索。

与此同时,这些信息源可以使用webhooks与数据库同步。

“Chat Store”来了

除了自家的插件外,OpenAI这次还发布了11款第三方插件:

其中,第一批插件由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier创建。

这些插件涵盖了实时信息检索、订机票、在线点餐、交通导航、企业办公、流程优化等功能。

没错,ChatGPT全宇宙里,一家子就是要整整齐齐。

此外,OpenAI还鼓励开发者一起做插件。然而,这个权限不是人人都有的,需要一个“入场劵”。

你首先需要先加入waitlist申请,申请时最好填上个人GitHub地址。这也是OpenAI用来判断开发能力的标准之一。

创建一个插件需要三个步骤:

– 构建 API

– 使用OpenAPI yaml或JSON格式记录API文档

– 创建一个JSON清单文件,定义插件的相关元数据

理工科神器Wolfram|Alpha

而且,Wolfram|Alpha插件的注入,让“数学菜鸡”ChatGPT也有翻身的机会了。

此前,人们就发现ChatGPT做“鸡兔同笼”的题总是出错。这引起了Wolfram语言之父Stephen Wolfram的注意。

当时,Wolfram就曾提出要解决ChatGPT的数学短板,方法便是结合进自己的Wolfram|Alpha知识引擎。

作为一个在线自动问答系统,Wolfram|Alpha不仅具备强大的结构化计算能力,而且也能理解自然语言。

这不,历经2个半月,ChatGPT已经获得了“Wolfram的超能力”。

让我们看一看ChatGPT的计算超能力。

1月份,Wolfram曾用ChatGPT演示的简单例子“从芝加哥到东京有多远”生成结果不是正确的。

加入插件后,ChatGPT的能力立刻增强了,不仅生成了正确的结果,而且给出了可视化的图片。

ChatGPT解锁联网,无敌插件颠覆玩法-1

这是如何实现的?ChatGPT为W|A构建一个查询系统,然后将其发送到 Wolfram|Alpha 进行计算,然后根据读取到的结果“决定要说什么”。

你可以通过点击“使用Wolfram”框来查看这个前后过程 (通过查看这些信息,你可以确认ChatGPT没有“编造任何东西”) 。

ChatGPT解锁联网,无敌插件颠覆玩法-2

同样的,此前Wolfram就注意到,ChatGPT只是“捏造”了看似合理 ,但却是错误的数据。

输入的prompt如下,在调用了Wolfram插件后,ChatGPT输出了一个正确且权威的答案。

ChatGPT解锁联网,无敌插件颠覆玩法-3

我们甚至还能用ChatGPT做出图表。

ChatGPT解锁联网,无敌插件颠覆玩法-4

Wolfram还给了一个全景图,你能用ChatGPT+Wolfram|Alpha能做的事情,可太多了。

ChatGPT解锁联网,无敌插件颠覆玩法-5

大佬们都炸了!直呼ChatGPT是宇宙中心

几个小时前,ChatGPT之父直接翻出2022年4月曾说的话:“我们需要为这种新的计算机界面命名,用自然语言告诉计算机你想要什么,然后直接让它们执行操作。大家有想法吗?”

或许在那时,ChatGPT Plugins的想法就已经在他的脑海中酝酿了。

ChatGPT解锁联网,无敌插件颠覆玩法-6

OpenAI的首席科学家Andrej Karpathy表示:

GPT类模型是一种运行在文本上的新型计算机架构,它不仅可以与我们人类交谈,也可以与现有的软件基础设施“交谈”,API是第一步,插件是第二步。

我们所处的时代也太炸裂了……

ChatGPT解锁联网,无敌插件颠覆玩法-7

“如果把OpenAI比作苹果,那GPT-4就是iPhone,ChatGPT则是iOS,而这次发布的Plugins就是App Store了。”

ChatGPT解锁联网,无敌插件颠覆玩法-8

而国内网友立马就设想出了一系列应用场景——现在可以用ChatGPT预定酒店航班、点外卖、网购了,而这些插件最擅长的就是Marketplace,现在,ChatGPT是真成宇宙中心了吧……

ChatGPT解锁联网,无敌插件颠覆玩法-9

来源:成为马斯克

有网友称,这是“ChatGPT宇宙”的开端。

ChatGPT解锁联网,无敌插件颠覆玩法-10

ChatGPT解锁联网,无敌插件颠覆玩法-11

来源:倪爽

而微博大V“木遥”惊呼:用自然语言生成插件,是我这辈子见过最疯狂的系统。

最后他发出预言:Python已死。

ChatGPT解锁联网,无敌插件颠覆玩法-12

ChatGPT解锁联网,无敌插件颠覆玩法-13

ChatGPT解锁联网,无敌插件颠覆玩法-14

最近,微软副总裁Yusuf Mehdi发出了这样的感慨。

ChatGPT解锁联网,无敌插件颠覆玩法-15

的确,我们谁都不曾想到,这个三月会如此疯狂。

原文链接: ChatGPT开启联网解除封印 无敌插件彻底颠覆体验

© 版权声明
THE END
喜欢就支持一下吧
点赞9 分享
评论 抢沙发
头像
说说你的看法!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容