斯坦福搞出来个“羊驼”,100美元能平替ChatGPT?

2023-03-14 量子位 量子位

一夜之间,大模型界又炸出个big news!

一夜之间,大模型界又炸出个big news!

斯坦福发布Alpaca(羊驼,网友口中的“草泥马”):只花100美元,人人都可微调Meta家70亿参数的LLaMA大模型,效果竟可比肩1750亿参数的GPT-3.5(text-davinci-003)。而且还是单卡就能运行的那种,甚至树莓派、手机都能hold住!

图片

还有一个更绝的“骚操作”。

研究所涉及到的数据集,是斯坦福团队花了不到500美元用OpenAI的API来生成的。

所以整个过程下来,就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。(薅羊毛高手……)

然后团队还说,用大多数云计算平台去微调训练好的模型,成本也不到100美元:复制一个GPT-3.5效果的AI,很便宜,很容易,还很小。

而且团队还把数据集(秒省500美元)、代码统统都给开源了,这下子人人都能去微调个效果炸裂的对话AI:

图片

项目在GitHub发布才半天时间,便已经狂揽1800+星,火爆程度可见一斑。

Django联合开发者甚至对斯坦福的新研究用“惊天大事”来形容:

图片

不仅如此,斯坦福团队还搞了个demo,在线可玩的那种。

话不多说,我们现在就来看看这个“草泥马”的效果。

比肩davinci-003的草泥马Aplaca

在斯坦福官方的演示中,他们先小试牛刀地提了一个问题:

什么是羊驼?它和美洲驼的区别是什么?

图片

草泥马Aplaca给出的答案较为干练:羊驼是一种小型骆驼科动物,原产于秘鲁、玻利维亚、厄瓜多尔和智利;它比美洲驼小,羊毛更细,也没有驼峰。

而后又简单的介绍了二者群居生活的不同。

同样的问题若是交给ChatGPT(GPT3.5-turbo),则答案就不会像草泥马Aplaca那般简洁:

图片

对此,团队给出的解释是:Alpaca的答案通常比ChatGPT短,反映出text-davinci-003的输出较短。

而后团队演示了让草泥马Alpaca写邮件:写一封e-mail祝贺被斯坦福大学录取的新生,并提到你很高兴能亲自见到他们。

草泥马Alpaca对于这个任务也是信手拈来,直接给出了一个像模像样的邮件模板:

图片

难度再次进阶,团队这次提出了让草泥马Alpaca写论文摘要的需求:写一篇经过深思熟虑的机器学习论文摘要,证明42是训练神经网络的最优seed。

草泥马Alpaca给出的答案从内容上来看,非常符合大多数论文的摘要形式:试图回答什么问题、用了什么方法、结果如何,以及未来展望。

图片

当然,也有迫不及待的网友亲自下场试验,发现草泥马Alpaca写代码也是不在话下。

图片

不过即便草泥马Alpaca能够hold住大部分问题,但这并不意味着它没有缺陷。

例如团队便演示了一个例子,在回答“坦桑尼亚的首都是哪里”的问题时,草泥马Alpaca给出的答案是“达累斯萨拉姆”。

但实际上早在1975年便被“多多马”取代了。

图片

除此之外,若是亲自体验过“草泥马”Alpaca就会发现,它……巨慢:

图片

对此,有网友认为可能是使用的人太多的原因。

图片

笔记本、手机、树莓派都能跑

Meta开源的LLaMA大模型,刚发布几周就被大家安排明白了,单卡就能运行。

所以理论上,基于LLaMA微调的Alpaca同样可以轻松在本地部署。

没有显卡也没关系,苹果笔记本甚至树莓派、手机都可以玩。

在苹果笔记本部署LLaMA的方法来自GitHub项目llama.cpp,使用纯C/C++做推理,还专门对ARM芯片做了优化。

图片

作者实测,M1芯片的MacBook Pro上即可运行,另外也支持Windows和Linux系统。

图片

还是这个C++移植版本,有人成功在4GB内存的树莓派4上成功运行了LLaMA的 70亿参数版本。

虽然速度非常慢,大约10秒生成一个token(也就是一分钟蹦出4.5个单词)。

图片

更离谱的是仅仅2天之后,有人把LLaMA模型量化压缩(权重转换成更低精度的数据格式)后成功在Pixel 6安卓手机上运行(26秒一个token)。

Pixel 6使用谷歌自研处理器Google Tensor,跑分成绩在骁龙865+到888之间,也就是说新一点的手机理论上都能胜任。

图片

微调数据集也开源

斯坦福团队微调LLaMA的方法,来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。

图片

以175个问题作为种子任务,让AI自己从中组合出新的问题以及生成配套答案实例,人工过滤掉低质量的,再把新任务添加到任务池里。

所有这些任务,之后可以采用InstructGPT的方法让AI学会如何遵循人类指令。

套娃几圈下来,相当于让AI自己指导自己。

图片

斯坦福版Alpaca,就是花了不到500美元使用OpenAI API生成了5.2万个这样的示例搞出来的。

这些数据同样开源了出来,并且比原论文的数据多样性更高。

图片

同时还给出了生成这些数据的代码,也就是说如果有人还嫌不够,可以再去自行扩充微调数据,继续提高模型的表现。

图片

微调代码也会在HuggingFace官方支持LLaMA后放出。

图片

不过Alpaca最终的模型权重需要Meta许可才能发布,并且继承了LLaMA的非商用开源协议,禁止任何商业用途。

并且由于微调数据使用了OpenAI的API,根据使用条款也禁止用来开发与OpenAI形成竞争的模型。

One More Thing

还记得AI绘画的发展历程吗?

2022年上半年还只是话题热度高,8月份Stable Diffusion的开源让成本下降到可用,并由此产生爆炸式的工具创新,让AI绘画真正进入各类工作流程。

语言模型的成本,如今也下降到了个人电子设备可用的程度。

最后还是由Django框架创始人Simon Willison喊出:

大语言模型的Stable Diffusion时刻到了。

梦晨 金磊 发自 凹非寺

量子位 | 公众号 QbitAI



版权声明:
本网站所有注明“来源:梅斯医学”或“来源:MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明“来源:梅斯医学”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (4)
#插入话题
  1. 2023-03-15 ms300

    坚持打卡

    0

  2. 2023-03-15 筱皮医

    🐮

    0

  3. 2023-03-15 屋顶瞄爱赏月

    签到学习

    0

  4. 2023-03-15 侠胆医心

    #GPT-4##GPT-3#基础上的#chatGPT#出现,标志着人类正式进入#人工智能2.0时代#,即人工智能正式超越人类的智慧,也正式预示着#人工智能#不仅仅是拥有知识,同样拥有智慧。GPT-4,则是更上一层楼,成为全能的天才。相信,未来应该是#GPT-5##通用人工智能#的出现,人工智能则正式进入全新的时代,#硅基生命#成为现实,人工智能能像人类一样不断学习,自我进化,甚至自己创造更强大的人工智能,而且这种进化速度远远超过人类本身。也许有一天,人与人工智能设备和谐共生,甚至也有冲突,甚至战争的可能。同样,人工智能设备也会帮助人类开拓宇宙。我猜#马斯克#的星箭首批带人类上火星的同时,一定会带上大量的人工智能设备,这些人工智能设备在火星为为人类干活,干拓火星。

    0

相关资讯

聊天机器人ChatGPT出圈,能在医学领域干点啥?#黑科技#

12月初,人工智能实验室OpenAI发布了一款名为ChatGPT的自然语言生成式模型,由于它能接住并解答网友的许多刁钻问题,一经问世就迅速引发关注,上线5天后,其体验用户已经突破100万。12月4日,

人工智能ChatGPT和Flan-PaLM双双通过美国医生许可考试(USMLE)

根据最近的两篇论文,两个人工智能 (AI) 程序——包括 ChatGPT——已经通过了美国医学许可考试 (USMLE)。

bioRxiv:人工智能ChatGPT写的医学论文摘要,审稿人无法辨别真假

ChatGPT,是由埃隆·马斯克等人创立的人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型——人工智能技术驱动的自然语言处理工具。它

chatGPT刚火,Bard也来了!医疗界能用人工智能干点啥?……

最近朋友圈刷屏的是chatGPT,史上最强的人工智能(聊天,对话,部分工作),简直是个“小超人”!各种奇葩的问题都没有难到这个小超人,虽然有时回答给人感觉就是“废话

抗流感药物怎么用?看看Chat GPT怎么说

近日,ChatGPT在各大中外媒体平台掀起了一阵狂热之风。流感频发,抗流感药物怎么用?看看Chat GPT怎么说