项目负责人:刘洋
单位 / 团队:清华大学
成果名称:神经机器翻译推断校准
成果简介:
清华大学教授、智源研究员刘洋等发现虽然标签平滑能够有效缓解神经机器翻译在训练阶段模型预测与评测准确率之间差距非常大的问题(即模型预测信心越大并不意味着准确率越高),这种模型预测偏差问题在推断阶段依然非常显著。为此,他们提出了分段式标签平滑方法,对神经机器翻译系统的推断偏差进行有效地校准,为提升神经机器翻译系统的可用性与可靠性提供了解决方案。
Shuo Wang, Zhaopeng Tu, Shuming Shi, and Yang Liu. (2020) On the Inference Calibration of Neural Machine Translation. The 58th Annual Meeting of the Association for Computational Linguistics(ACL 2020)(CCF A 类 )
神经机器翻译可靠性分布图。在 (a) 训练阶段,通过使用标签平滑,模型预测信心与准确率保持一致,预测校准错误(Expected Calibration Error,简称 ECE)仅为1.39。然而在 (b) 推断阶段,即使使用了标签平滑,模型预测信心与准确率仍然存在很大的偏差,预测校准错误高达15.83。论文为降低神经机器翻译系统的预测校准错误提出了分段式标签平滑方法。图片来源:作者论文。
相关人物