去年11月30日,人工智能公司OpenAI发布聊天机器人ChatGPT。和OpenAI此前推出的产品不同,这次ChatGPT采取了开源开放、免费用的模式。
免费又好用,ChatGPT不到一周就聚集了超过100万用户,其圈粉速度之快震撼整个AI产业界。
ChatGPT的大火,让OpenAI吸金能力飙升。
2019年微软曾向OpenAI投资10亿美元,以换取OpenAI技术的独家许可。现在,OpenAI的估值飙涨至290亿美元。
ChatGPT在全球爆红还震动了AI界的大佬谷歌。
ChatGPT推出不足1个月后,谷歌CEOSundarPichai在公司内部发布了“红色警报”(CodeRed),并称围绕ChatGPT,全面调整2023年谷歌在AI领域的工作。
更夸张的还有ChatGPT的“加持”能力。
就在几天前,美国版头条公司BuzzFeed宣布计划利用ChatGPT创建者OpenAI来生成和个性化其部分内容并增强其体验后,其公司一直不温不火的股价2天涨了近3倍。
纷繁的信息背后,ChatGPT所代表的AIGC(AIgeneratedcontent)技术水平到底达到了怎样的高度?
根据OpenAI官网的介绍,ChatGPT基于GPT-3.5预训练大模型创建,采用的模型使用了“利用人类反馈强化学习(RLHF)”的训练方式,包括:人类提问机器答、机器提问人类回答,不断迭代,让模型具备对生成答案的评判能力。
相比GPT-3大模型,ChatGPT的主要提升点包括:能记住之前的对话,可实现连续对话,更符合真实的人类对话情景,能承认错误、会拒绝不适当请求;新训练增加了代码理解和生成的能力,ChatGPT具备与编程相关的基础知识。
回顾OpenAI的技术路线,自2018年开始,OpenAI陆续发布了GenerativePre-trainedTransformer(GPT)系列预训练语言模型。
GPT-1(2018年发布)、GPT-2(2019年发布)、GPT-3(2020年发布)的参数分别达到1.17亿、15亿、1750亿。此后,OpenAI投入大量精力,通过代码训练和指令微调来增强GPT-3。ChatGPT被视为是基于GPT-3的微调版本,即GPT-3.5创建的。