本文共 1740 字,大约阅读时间需要 5 分钟。
在碎片化阅读时代,越来越多的人被信息碎片包围,逐渐丧失了深入探索和思考每篇论文背后的价值的耐心。本期推荐的论文将为您带来精选的AI前沿成果亮点和痛点,持续跟进最新的研究动态。
清华大学徐葳老师组与刘知远老师组在ACL 2019上发表了一篇关于关系抽取的论文。该研究在远程监督与弱监督融合两种技术之间搭建了一座桥梁。通过自动生成模式,显著降低了对领域专家在技能和工作量上的依赖,同时通过少量人工标注实现高质量模式的自动精炼,为新关系领域的快速泛化提供了强有力支持。此外,DIAG-NRE不仅有效抑制标签噪声,还能诊断不同关系类型的噪声类型及其严重程度,为模型解释和优化提供了直观依据。
本文是腾讯微信AI与北大计算语言所发表的摘要生成研究。研究者提出了基于BERT的抽取式摘要方法,通过在句子前设定CLS token,结合自注意力机制提取句子表示,进一步通过RNN整合文档级信息。为了区别句子,作者还引入了段编码机制,通过交错编码提升了模型的表达能力。这一方法在多个文本摘要任务中取得了显著的性能提升。
Allen实验室在ACL 2019上提出了Commonsense Transformers (COMET)模型。COMET通过训练 Transformer语言模型,利用ATOMIC和ConceptNet知识种子构建常识知识库。与传统知识库不同,COMET采用松散结构的开放式知识描述。实验结果表明,该模型在生成高质量常识知识方面表现优异,达到了77.5%的精度,展示了其在知识抽取中的潜力。
本文是腾讯微信AI与北大计算语言在ACL 2019上的工作,聚焦无监督文本风格转换任务。传统方法通常通过分步走的策略实现,但难以捕获内容与风格的深度关联。作者基于Dual RL框架,分别训练两个seq2seq模型,一个用于风格转换,另一个用于反向任务,以实现直接的跨模态转换。同时,通过模板预训练和Annealing Pseudo Teacher-Forcing技术,解决了强化学习中的预训练和语言模型崩坏问题。实验结果显示,提出的模型在YELP和GYAFC任务中取得了最佳性能。
本文由腾讯、哈工大和IBM联合发表,在语义匹配领域提出了去偏训练与评估方法。实验发现现有数据集中普遍存在样本选择偏差,仅需三种无关特征即可达到较高准确率。作者提出的方法无需额外资源,能够显著提升模型的泛化能力并提供更可靠的评估结果,推动了语义匹配领域的发展。
本文是University of Washington的Yejin Choi团队在ACL 2019上的研究,探索数据集与模型的双向进化。SWAG数据集的实验结果显示,BERT模型通过微调阶段习得了数据分布的归纳偏好,接近了人类的性能。为了难倒BERT,作者采用 adversarial filtering 技术,通过随机划分数据集并生成对抗性候选答案,构建了一个BERT难以轻松识别的数据集。实验结果表明,仅需十几个样本BERT就能达到76%的准确率,进一步揭示了BERT的学习机制。
本文是清华大学与CMU联合发表的多模态情感分析研究。论文提出了一个动态调整词嵌入的情感分析模型,通过LSTM提取音频-视觉特征,并结合门控注意力机制融合不同模态信息。实验结果表明,该模型在情感极性预测任务中表现优异,但在模型复杂度和时间成本上仍有提升空间。
本文是哈工大的研究,提出DualLanST模型解决文本风格迁移中的挑战。作者通过模板预训练和Annealing Pseudo Teacher-Forcing技术,解决了强化学习中的关键问题。实验结果显示,DualLanST模型在风格迁移任务中表现优越,提供了更好的灵活性和稳定性。
如需了解更多论文详情,请访问PaperWeekly官网。
转载地址:http://tzmj.baihongyu.com/