万里平台香港会场：体验如何通过训练让程序帮我们自动写文章

人工智能这个词，对于今天我们来说已经是不陌生了，特别是对于我们这种搞互联网的人。基本上天天都能听到，但是似乎离我们还是有点遥远。尽管在有些地方已经开始运用了，可是目前来说还只是在少数的领域能清晰的看到它的影子。

在seo方面，人工智能的影子就更少了。只有寥寥的几家打着“AI伪原创”的幌子在招摇撞骗，反正不懂的人也不知道其真正的核心是什么。能出效果就好了，不是吗？

这些天正好有空，我就专门折腾了一下目前比较流利的真正的NLP模型GPT-2。并顺利的在我的win10系统上搭建和运行起来了。虽然速度慢，但还可以体验一下人工智能的魅力的。

在进入正题之前，先给大家普及点小知识。

NLP是什么

NLP，全称 nature language processing,翻译过来就是自然语言处理了。这玩意主要做的工作就是想尽办法让机器能够理解人类的语言。目前由于芯片和算法以及设备的升级已经能够让机器通过学习的方式从一定程度上理解了人类的语言了，但是还是存在很多的难题哈。

大家用到的，天猫精灵、小爱同学、Siri等等都是NLP的产物。

回归正题，想要让机器理解我们说的话，那就得需要一个比较重要的东西：语言模型；语言模型是根据语言客观事实而进行的语言抽象数学建模，是一种对应关系。语言模型与语言客观事实之间的关系，如同数学上的抽象直线与具体直线之间的关系。

简单说来，语言模型的作用就是根据已有句子的一部分，来预测下一个单词会是什么。最著名的语言模型你一定见过，就是手机上的输入法，它可以根据当前输入的内容智能推荐下一个词。

而本文用到的GPT-2就是一个无监督学习的语言模型，据说是目前最强大的。

GPT-2 有着超大的规模，是一个在海量数据集上基于 transformer 训练的巨大模型。本文将带你一起探索取得优异性能的 GPT-2 模型架构，重点阐释其中关键的自注意力（self-attention）层，并且看一看 GPT-2 采用的只有解码器的 transformer 架构在语言建模之外的应用。