博客
关于我
NLP领域近期有哪些值得读的开源论文?
阅读量:213 次
发布时间:2019-02-28

本文共 1740 字,大约阅读时间需要 5 分钟。

关于AI前沿论文解读

在碎片化阅读时代,越来越多的人被信息碎片包围,逐渐丧失了深入探索和思考每篇论文背后的价值的耐心。本期推荐的论文将为您带来精选的AI前沿成果亮点和痛点,持续跟进最新的研究动态。


1. 关系抽取:桥梁连接远程监督与弱监督

清华大学徐葳老师组与刘知远老师组在ACL 2019上发表了一篇关于关系抽取的论文。该研究在远程监督与弱监督融合两种技术之间搭建了一座桥梁。通过自动生成模式,显著降低了对领域专家在技能和工作量上的依赖,同时通过少量人工标注实现高质量模式的自动精炼,为新关系领域的快速泛化提供了强有力支持。此外,DIAG-NRE不仅有效抑制标签噪声,还能诊断不同关系类型的噪声类型及其严重程度,为模型解释和优化提供了直观依据。


2. 摘要生成:BERT模型的改进与应用

本文是腾讯微信AI与北大计算语言所发表的摘要生成研究。研究者提出了基于BERT的抽取式摘要方法,通过在句子前设定CLS token,结合自注意力机制提取句子表示,进一步通过RNN整合文档级信息。为了区别句子,作者还引入了段编码机制,通过交错编码提升了模型的表达能力。这一方法在多个文本摘要任务中取得了显著的性能提升。


3. 常识推理:构建自动知识库的新方法

Allen实验室在ACL 2019上提出了Commonsense Transformers (COMET)模型。COMET通过训练 Transformer语言模型,利用ATOMIC和ConceptNet知识种子构建常识知识库。与传统知识库不同,COMET采用松散结构的开放式知识描述。实验结果表明,该模型在生成高质量常识知识方面表现优异,达到了77.5%的精度,展示了其在知识抽取中的潜力。


4. 文本风格转换:强化学习与模板预训练

本文是腾讯微信AI与北大计算语言在ACL 2019上的工作,聚焦无监督文本风格转换任务。传统方法通常通过分步走的策略实现,但难以捕获内容与风格的深度关联。作者基于Dual RL框架,分别训练两个seq2seq模型,一个用于风格转换,另一个用于反向任务,以实现直接的跨模态转换。同时,通过模板预训练和Annealing Pseudo Teacher-Forcing技术,解决了强化学习中的预训练和语言模型崩坏问题。实验结果显示,提出的模型在YELP和GYAFC任务中取得了最佳性能。


5. 语义匹配:去偏训练与评估方法

本文由腾讯、哈工大和IBM联合发表,在语义匹配领域提出了去偏训练与评估方法。实验发现现有数据集中普遍存在样本选择偏差,仅需三种无关特征即可达到较高准确率。作者提出的方法无需额外资源,能够显著提升模型的泛化能力并提供更可靠的评估结果,推动了语义匹配领域的发展。


6. 故事结尾生成:模型与数据集的双向进化

本文是University of Washington的Yejin Choi团队在ACL 2019上的研究,探索数据集与模型的双向进化。SWAG数据集的实验结果显示,BERT模型通过微调阶段习得了数据分布的归纳偏好,接近了人类的性能。为了难倒BERT,作者采用 adversarial filtering 技术,通过随机划分数据集并生成对抗性候选答案,构建了一个BERT难以轻松识别的数据集。实验结果表明,仅需十几个样本BERT就能达到76%的准确率,进一步揭示了BERT的学习机制。


7. 多模态情感分析:音频-视觉信息的融合

本文是清华大学与CMU联合发表的多模态情感分析研究。论文提出了一个动态调整词嵌入的情感分析模型,通过LSTM提取音频-视觉特征,并结合门控注意力机制融合不同模态信息。实验结果表明,该模型在情感极性预测任务中表现优异,但在模型复杂度和时间成本上仍有提升空间。


8. 文本风格迁移:DualLanST模型的创新

本文是哈工大的研究,提出DualLanST模型解决文本风格迁移中的挑战。作者通过模板预训练和Annealing Pseudo Teacher-Forcing技术,解决了强化学习中的关键问题。实验结果显示,DualLanST模型在风格迁移任务中表现优越,提供了更好的灵活性和稳定性。


如需了解更多论文详情,请访问PaperWeekly官网。

转载地址:http://tzmj.baihongyu.com/

你可能感兴趣的文章
Objective-C实现将列表向右旋转 k 个位置算法(附完整源码)
查看>>
Objective-C实现将字符串中大写字母转换为小写字母(附完整源码)
查看>>
Objective-C实现将字符串从一个基转换为另一个基算法(附完整源码)
查看>>
Objective-C实现将字节数组转换为 base64 编码算法(附完整源码)
查看>>
Objective-C实现将彩色图像转换为负片算法(附完整源码)
查看>>
Objective-C实现将无符号整数n变成成d进制表示的字符串s(附完整源码)
查看>>
Objective-C实现将给定的 utf-8 字符串编码为 base-16算法(附完整源码)
查看>>
Objective-C实现将给定的字符串编码为 base32算法(附完整源码)
查看>>
Objective-C实现小根堆(附完整源码)
查看>>
Objective-C实现局域网双向通信(附完整源码)
查看>>
Objective-C实现局部最大值点数算法(附完整源码)
查看>>
Objective-C实现屏幕捕获功能( 附完整源码)
查看>>
Objective-C实现峰值信噪比算法(附完整源码)
查看>>
Objective-C实现已线段的形式求曲线长算法(附完整源码)
查看>>
Objective-C实现已递归的方式找到一个数字数组的最大值算法(附完整源码)
查看>>
Objective-C实现巴比伦平方根算法(附完整源码)
查看>>
Objective-C实现带头双向循环链表(附完整源码)
查看>>
Objective-C实现广度优先搜寻树遍历算法(附完整源码)
查看>>
Objective-C实现应用程序添加防火墙白名单 (附完整源码)
查看>>
Objective-C实现度到弧度算法(附完整源码)
查看>>