据了解,目前的AI聊天机器人ChatGPT,由GPT-3.5系列中的模型微调而成。GPT-4是未来进一步升级的模型。
微软德国公司的技术总监AndreasBraun表示,「有了GPT-4,AI就有可能生成文本、图像甚至视频。」而以前版本的ChatGPT只能够生成文本。」
GPT-4作为多模态语言的另一个强大功能在于,它可以管理不同语言的数据输入和输出。
比方说,你可以用西班牙语对ChatGPT提出要求,而得到的生成文本是英语。显然,这种新奇的东西对翻译工具也会有很大的帮助。
Braun将GPT-4描述为人工智能领域的游戏规则改变者,它将向着拥有人类的解释能力这一目标更进一步。
GPT,即GenerativePre-trainedTransformer,是由OpenAI提出的一系列非常强大的预训练语言模型。该系列模型基于互联网上的可用数据上进行训练,在NLP(自然语言处理)方面表现卓越,可用于问答、文章生成、机器翻译、代码生成和对话AI等。
在GPT系列模型推出之前,传统的NLP模型都是针对特定任务(如分类、翻译等)进行训练的,并且往往使用监督学习,这就导致了两个问题:缺乏大量的标注数据,模型也无法概括和泛化任务。
于是,OpenAI在2018年推出了GPT-1,模型参数数量为1.17亿,通过未标注的数据训练出一种生成式语言模型,再根据特定的下游任务进行微调,将无监督学习作为有监督模型的预训练目标。
时隔一年后,2019年具有15亿参数的GPT-2出现。与GPT-1相比,GPT-2在结构上并没有太多创新与设计,使用了更大的数据集和更多的模型参数进行训练,以此强化并提高模型性能。
从GPT-1的1.17亿到GPT-2的15亿,超10倍的参数差距带来了性能上的飞跃。这似乎意味着,随着容量和参数量的增多,模型性能还有更大的潜力——因此,2020年GPT-3的参数量翻了100倍:1750亿,其预训练数据量也高达45TB(GPT-2是40GB,GPT-1约5GB)。
事实证明,海量参数确实让GPT-3具备了更强大的性能,它在下游任务表现的非常好。即便是复杂的NLP任务,GPT-3也表现惊艳:可以模仿人类写作,编写SQL查询语句、React或JavaScript代码等。
回顾GPT-1、GPT-2和GPT-3这一路的发展,许多人对GPT-4寄予厚望,甚至还有消息称GPT-4的参数量将高达100万亿。