开学临近,我用几十行代码自动生成了一份

北京中科白癜风医院权威 http://ask.bdfyy999.com/
0.概述北京最近的天气总是陷入某一个极端，不下雨的日子酷暑难耐，下雨的日子阴风怒号。这种天气现象，我们通常称之为“快开学了”。对于本摸鱼人来说，暑假和上学的界限现在正在逐渐淡薄。上大学之前，暑假和上学往往被清晰地划线分隔，就像北京一样，从艳阳高照一瞬间变为阴雨连绵。而这个“界限”，很大一定程度上都是暑假作业贡献的。等到“我该做暑假作业”的时候到来，也就意味着暑假要结束了。大学就没有暑假作业了吧——或许是，也或许不是。大一的同学们开学就要上交经典暑假作业：师韵读后感。这是我校传统艺能，我自然也是经历过的，因此除了窃喜，没有什么其他感觉。BUT！我突然想到，作为马上就要进入北京科技大学计通学院的学生来说，这么一份工作，如果是借助计算机来完成的，或许能够为大学生活增添许多浪漫。本文面向的对象是具备一定计算机基础，熟悉Python和其相关组件的基本操作，但是又是第一次接触NLG领域的同学。本项目可以作为一个很简单的示范，借助GPT和清源CPM的强大快速体会到这一领域的乐趣。当然，对于不具备Python基础的同学，也可以通过搜索引擎检索丰富的教程来从头实现这个项目。1.你需要知道自然语言生成系统定义为：接受非语言形式的信息作为输入，生成可读的文字表述。这个概念拓展为包括了文本到文本的生成、数据到文本的生成以及图像到文本的生成的文本生成技术。显然在我们的问题中，我们需要用到文本到文本的生成技术，即通过一小段给定的文本生成全文的技术。在自然语言生成领域，比较常用的方法是基于语言模型的自然语言生成和使用深度学习方法的自然语言生成。基于语言模型的自然语言生成一般基于某种详细的用于描述语言结构的模型。比较常见的是基于马尔可夫的语言模型。这种技术非常经典，但是不是我们使用的方法。大火的的深度学习在NLG领域已经成了最佳选择。它无需任何语言学基础，通过某种方式将现有的文本编码，基于诸如注意力模型等机制得到输出，再解码为生成的文本。自然语言相关的领域在前几年陷入的一种瓶颈期，而这种瓶颈，被一种叫做Transformer的机制打破了。在Transformer的价值被发现后，两项被誉为逆大天的技术诞生了，它们两个似乎就像瓜分了Transformer一样，分别裁剪了Transformer和encoder和decode，那就是：BERT和GPT。在这篇文章中我们主要使用的是GPT。关于它，你需要知道，它真的非常牛逼。而我们马上要使用的清源CPM被誉为中文GPT。清源CPM(ChinesePretrainedModels)是北京智源人工智能研究院和清华大学研究团队合作开展的大规模预训练模型开源计划，清源计划是以中文为核心的大规模预训练模型。首期开源内容包括预训练中文语言模型和预训练知识表示模型，可广泛应用于中文自然语言理解、生成任务以及知识计算应用，所有模型免费向学术界和产业界开放下载，供研究使用。本文中，我们将使用清源CPM预训练模型在不添加任何额外工作的基础上轻松完成文本生成工作。本文所参考的项目已经在参考文献部分放出。考虑到一些潜在的因素，本文所使用的代码就不在这里放出了。你完全可以借助参考文献中的项目自己复现。至于理论技术方面，例如embedding呀，多头attention呀，残差网络呀，这些我们就不再多谈（你若有兴趣我们可以单独聊），因为这篇文章偏向于实际上手操刀而非理论。2.准备工作

开发环境：Python3.8.8

使用依赖：

sentencepiece==0.1.96

jieba==0.42.1

regex==.8.3

tensorflow==2.3.0

tensorflow-hub==0.12.0

推荐使用conda安装，而不是pip。

预训练模型下载：

CPM简化模型ForTF2：

转载请注明：http://www.shijichaoguyj.com/wxbz/11783.html