020-88888888

网站建设 APP开发 小程序

KNOWLEDGE/知识

分享你我感悟

您当前位置>主页 > 知识 > 软件开发 >

突破了Transformer在文本长度上的建模瓶颈

发表时间:2021-07-22 11:08

文章来源:拉菲彩票

浏览次数:

  在5月20日竣事的2021深度进修开拓者峰会WAVE SUMMIT上,百度文心ERNIE开源了四大预练习模子。本文对这四大开源预练习模子举办了具体的技能解读。

  2019年以来,NLP预练习模子在技能创新和家产应用上不绝取得打破,但当前预练习模子仍有一些痛点困扰着开拓者:

仅思量单一粒度语义建模,缺乏多粒度常识引入,语义领略本领受限;

受限于Transformer布局的建模长度瓶颈,无法处理惩罚超长文本;

聚焦语言等单一模态,缺乏家产真实应用场景针对多个模态如语言、视觉、听觉信息的连系建模本领。

  5月20日举行的2021深度进修开拓者峰会WAVE SUMMIT上,依托飞桨焦点框架,百度文心ERNIE最新开源四大预练习模子:多粒度语言常识加强模子ERNIE-Gram、长文能力略模子ERNIE-Doc、融合场景图常识的跨模态领略模子ERNIE-ViL、语言与视觉一体的模子ERNIE-UNIMO。

  针对当前预练习模子现存的难点痛点,此次文心ERNIE开源的四大预练习模子不只在文本语义领略、长文本建模和跨模态领略三大规模取得打破,还拥有遍及的应用场景和前景,进一步助力财富智能化进级。

打破了Transformer在文本长度上的建模瓶颈

  文心ERNIE开源版地点:https://github.com/PaddlePaddle/ERNIE

  文心ERNIE官网地点:https://wenxin.baidu.com/

  一、多粒度语言常识加强模子ERNIE-Gram

  从ERNIE模子降生起,百度研究者们就在预练习模子中引入常识,通过常识加强的要领晋升语义模子的本领。本次宣布的ERNIE-Gram模子正是通过显式引入语言粒度常识,从而晋升模子的结果。详细来说,ERNIE-Gram提出显式n-gram掩码语言模子,进修n-gram粒度语言信息,相对持续的n-gram掩码语言模子大幅缩小了语义进修空间,(V^n→V_(n-gram),个中V为词表巨细,n为建模的gram长度),明显晋升预练习模子收敛速度。

打破了Transformer在文本长度上的建模瓶颈

▲图1-1持续n-gram掩码语言模子vs显式n-gram掩码语言模子

  另外,在显式n-gram语义粒度建模基本上,ERNIE-Gram提出多条理n-gram语言粒度进修,操作two-stream双流机制,实现同时进修n-gram语言单位内细粒度(fine-grained)语义常识和n-gram语言单位间粗粒度(coarse-grained)语义常识,实现多条理的语言粒度常识进修。

打破了Transformer在文本长度上的建模瓶颈

▲图1-2n-gram多条理语言粒度掩码进修

  ERNIE-Gram在不增加任何计较巨大度的前提下,在自然语言揣度任务、随笔内情似度任务、阅读领略任务等多个典范中文任务上,拉菲彩票,结果明显逾越了业界主流开源预练习模子。另外,ERNIE-Gram英文预练习模子也在通用语言领略任务、阅读领略任务上结果逾越主流模子。

  ERNIE-Gram的要领被NAACL2021主会长文任命,论文地点:

  https://arxiv.org/abs/2010.12148

  二、长文能力略模子ERNIE-Doc

  Transformer是ERNIE预练习模子所依赖的基本网络布局,但由于其计较劲和空间耗损随建模长度呈平方级增加,导致模子难以建模篇章、书籍等长文本内容。受到人类先粗读后精读的阅读方法开导,ERNIE-Doc创始回首式建模技能,打破了Transformer在文本长度上的建模瓶颈,实现了任意长文本的双向建模。

  通过将长文本反复输入模子两次,ERNIE-Doc在粗读阶段进修并存储全篇章语义信息,在精读阶段针对每一个文本片断显式地融合全篇章语义信息,从而实现双向建模,制止了上下文碎片化的问题。

  另外,传统长文本模子(Transformer-XL等)中RecurrenceMemory布局的轮回方法限制了模子的有效建模长度。ERNIE-Doc将其改造为同层轮回,使模子保存了更上层的语义信息,具备了超长文本的建模本领。

打破了Transformer在文本长度上的建模瓶颈

▲图2-1ERNIE-Doc中的回首式建模与加强影象机制

  通过让模子进修篇章级文本段落间的顺序干系,ERNIE-Doc可以更好地建模篇章整体信息。

打破了Transformer在文本长度上的建模瓶颈

▲图2-2篇章重排序进修

  ERNIE-Doc明显晋升了长文本的建模本领,可以办理许多传统模子无法处理惩罚的应用困难。譬喻在搜索引擎中,ERNIE-Doc可以对网页整体领略,返回用户越发系统的功效。在智能创作中,ERNIE-Doc可以用来生成越发长篇、语义富厚的文章。

  超长文能力略模子ERNIE-Doc在包罗阅读领略、信息抽取、篇章分类、语言模子等差异范例的13个典范中英文长文本任务上取得最优的结果。

  ERNIE-Doc的要领被ACL2021主会长文任命,论文链接:

  https://arxiv.org/abs/2012.15688

  三、融合场景图常识的跨模态领略模子ERNIE-ViL

相关案例查看更多