从AlphaGo到GPT
源头
:守业邦 2023年是AI元年,彷佛在这一年里
,种种的AI运用如雨后春笋
。 每一次相关财富技术的守业热潮
,都源于运用层面的技术突破。2015年
,一个名为AlphaGo的合计机挨次横空降生,大杀四方,斩落了中日韩的顶尖围棋能手
。AlphaGo一战成名后,种种以神经收集以及卷积神经网路为技术道路的运用型企业也都支棱了起来,一片欣欣向荣之态势 。 在这一波守业怒潮下,种种合计机及互联网巨头
,都加大了对于家养智能规模的技术开拓。2017年,Google 提出了一种倾覆性的神经收集架构——基于自留意力机制的Transformer。这一架构奠基了大模子预磨炼算法的根基
。随后
,在2018年 ,OpenAI以及Google分说宣告了GPT-1以及BERT等大型预磨炼模子 ,这标志着预磨炼大模子已经成为做作语言处置规模的主流趋向
。在探究期
,以Transformer为代表的全新神经收集架构为大模子的算法架构奠基了根基