融合指针网络的Transformer摘要生成模型的改进
作者:李维乾; 蒲程磊
更新时间:
针对传统的带注意机制的编解码模型在抽象生成任务中存在文本冗余、表达不一致和词汇表外(OOV)等问题,导致抽象生成的准确性较差,改进了嵌入文本位置信息的Transformer模型。引入指针网络帮助解码,利用指针网络生成文本的优势生成摘要。在中文LCSTS短文本摘要数据集上验证了该模型的有效性。结果表明,改进的Transformer模型的平均得分比ROUGE的基准模型高2分。在确保摘要和输入文本之间的一致性的同时,其生成内容的重要性和语言的流畅性也得到了显著提高。