近期，美国人工智能公司OpenAI发布免费机器人对话模型ChatGPT（GPT-3.5系列），模型中首次采用RLHF（从人类反馈中强化学习）方式。ChatGPT-3.5发布之后，5天时间用户破100万，速度惊人。ChatGPT正在迅速成为主流。
如何看待ChatGPT的未来趋势和对行业的影响？以下为机构中信证券报告部分内容摘要：
由人工智能实验室OpenAI发布的对话式大型语言模型Chat-GPT获得市场广泛关注。
测试反馈的结果显示，相比于前一代的GPT-3，Chat-GPT给出的答案完成度很高，并能在专业领域内形成具有一定创作性的回答。技术背景上，OpenAI团队从GPT-3.5系列中的一个模型进行微调，使用人类反馈强化学习（RLHF）训练该模型。这种技术使用人类偏好作为奖励信号来微调模型，在此前的Transformer算法的基础上又优化了数据来源。与GPT-3相比，Chat-GPT测试所取得的进步是明显的，但这些进步主要来自于数学层面上优化带来的匹配精准度提高，而并非算法真正为AI带来了逻辑性。更直观的理解是，Chat-GPT“解锁”了GPT-3已经具备的能力，原先模型中真正使用到的计算和数据不到2%，这让Chat-GPT成为一个AI技术应用的成功范例。
对产业界而言，Chat-GPT的成功意味着产业端算力与数据质量重要性进一步提升，人类反馈强化学习（RLHF）更强调数据质量与算力，在未来Transformer发展的过程中将越来越重要，一味堆叠数据量的时代可能已经过去。能够完成数据闭环以及有着优秀的数据自处理能力的企业预计将在未来AI模型发展的过程中更加受到青睐。场景落地端，根据模型现有的完成度，在垂直行业针对性地做人工反馈训练，就可以落地智能客服、问答产品，在toC场景中料将率先得到应用。Chat-GPT的成功证明了Transformer模型并非陷入困境，AI模型&技术上持续的新突破，正驱动全球AI产业进入加速发展阶段，叠加AI产业集群效应的不断凸显，拥有完整数据闭环结构、良好数据自处理能力的企业有望持续成为产业受益者。
Chat-GPT模型：在GPT-3.5的基础上基于人类反馈学习进行额外训练，给出了Transformer模型未来发展的一个可能解法。
OpenAI团队从GPT-3.5系列中的一个模型进行微调，使用与InstructGPT相同的方法，使用人类反馈强化学习（RLHF）训练该模型，并对数据收集设置相对做了优化。人类反馈强化模型这一技术，是OpenAI从2017开始发表论文的新领域。这种技术使用人类偏好作为奖励信号来微调模型，首先收集人工编写演示数据集（包含两种不同输出类型的比较），然后在这个数据集上训练一个奖励模型（RM）来预测标签者更喜欢哪个输出。最后，使用此RM作为奖励函数并微调这个GPT-3策略以使用PPO算法最大化此奖励。从测试的结果看，Chat-GPT能够调用大量的专业数据库，并用巧妙的语言连接句将他们拼合在一起，在回答问题时，模型能根据上下文展现出一定的连贯性。在面对GPT-3束手无策的人称代词时，Chat-GPT展现出了一定的逻辑能力。
模型背后问题：并非底层技术上的革命性突破，产业端意义大于学术端意义。
与GPT-3相比，Chat-GPT测试所取得的进步是明显的，但这些进步主要来自于数学层面上的优化带来的结果匹配精准度提高，而并非算法真正为AI带来了逻辑性，也不是能够从训练的数据中学习到新的知识。对于Chat-GPT相对于原先模型的进步的一种更直观的理解是，Chat-GPT“解锁”了GPT-3已经具备的能力，通过原先的提示工程难以激发：这是因为训练程序相对于预训练期间学到的东西，新知识的连接能力有限。这一过程带来了更好的结果匹配度来逼近人类思考所使用的逻辑，但并非给予了AI底层逻辑性的概念。从大量的测试结果能看出，Chat-GPT有时仍会写出看似合理但不正确或荒谬的答案，以及幼儿都绝不会出现的逻辑性错误。主要原因包括：（1）在面对逻辑性的指代，以及稍微复杂的句式，模型仍然难以分析出内在的逻辑性关联;（2）训练模型更加谨慎导致它拒绝回答和逃避回答问题;（3）监督训练会误导模型，因为理想的答案取决于模型知道什么，而不是人类演示者知道什么。
Chat-GPT对产业界的影响：底层算力、数据质量重要性进一步提升，toC端场景（智能客服等）料将率先迎来变革。
1）人类反馈强化学习（RLHF）更强调数据质量与算力，尽管相比于GPT-3，Chat-GPT削减了一部分的数据量，但对于余下的数据做了更好的优化以及加入了人类反馈调节的奖励系统。数据质量与大算力支撑下的奖励系统预计将在未来Transformer发展的过程中越来越重要，一味堆叠数据量的时代可能已经过去。能够完成数据闭环以及有着优秀的数据自处理能力的企业将在未来AI模型发展的过程中更加受到青睐。2）即使Chat-GPT不是一个革命性的底层AI技术的突破，但它绝对是一个成功的AI技术应用的典范。在原先GPT-3.5与InstructGPT的框架上，OpenAI的研究员通过调试参数与数据源取得了惊人的效果。根据模型现有的完成度，在垂直行业针对性的做人工反馈训练，就可以落地为智能客服产品，在toC的场景中率先得到应用。对比目前的智能客服，Chat-GPT支撑的客服将在灵活性与人性化服务方面有显著的进步。
投诉
