第065章【灵境GPT-1.0语言模型】（2/2）

罗靖回头环视众人道：“geive即生成式，pre-traed即预训练，transforr自注意力机制。”

在场的工程师们耳目一新，深度学习神经网络到不是没听说过，深度学习这一概念最早可以追溯到上个世纪40年代，那会儿还在打第二次世界大战呢。

不过这三者结合，大家都没有听说过，而且神经网络现在虽然也开始流行，当时没有大规模流行起来，更没有在人工智能领域像几年后达到统治级地位。

在场的工程师们都一言不发，同时认真聆听着，新加入的团队成员都是如此，作为同行越听越清楚的意识到台上站着的那个比他们所有人都年轻的罗靖，他的实力有多强。

能成为t10级资深研究员果然是有道理的，至少在场的人都知道自己的技术水平肯定比不过罗靖。

大家自然是希望能跟t10级大神学到点东西，这种机会可不多。

“我们团队除了继续在星际2这个项目推进灵境ai之外，我们接下来的新任务就是开发构建一个语言大模型。”罗靖站在会议大屏幕右侧不急不缓地说道：

“这个模型的核心其实就是‘自注意力机制’，也就是gpt中的t，比方说让ai给一段文字序列中的不同词语标注权重，然后对下文的推测依据权重来进行，这样做的好处就是即便之前很早的信息也能被ai用上，不至于让ai学了之后转头就忘了前面的。”

“整个的过程是通过自监督完成，也就是ai自我学习完成，在此期间没有我们人类指导，当然也没法指导，没有人能把百渡百科、维基百科或全网的全部内容都熟记下来。”

这时，与会的一位t5级工程师说道：“头儿，这个预训练pre-traed会不会让灵境gpt呈现出什么都懂，但样样不精通的局面？可以说全面发展反而变得全面平庸，按你之前的描述，让灵境gpt的语言模型变得更大似乎并不能使它更好的遵循用户的意图，甚至不排除会生成一些假的、有害的对人没有帮助的回答。”

罗靖顿时说道：“好问题。所以要对灵境gpt进行微调，让它生成的答案更有帮助性，在训练阶段就不能用自监督学习的办法了，而是要找人类来给它上课。”

此话一出，另一位工程师不禁说道：“这……那得多少人？意思是让用户来训练？那算力、维护和运营成本得爆炸，经费能撑得住吗？”

不用想都知道前期得持续烧钱并且赚不了钱。

罗靖淡定的说道：“经费问题那是老板该头疼的事情，我们只管搞技术和找老板伸手要钱，找老板要钱这个事情我来做就是了，你们不用管，回归正题……”

顿了片刻，罗靖按动手里的小遥控器接着说道：“灵境gpt使用人类监督，我已经微调训练了一个初始模型，这个模型靠人类ai训练员提供对话内容。”

众人暗暗吃惊，不愧是大佬，居然一个人就把初始模型给搞出来了。

……