文章内容

为你解答斯坦福大学NLP组开放神经机器翻译代码库

时间:2018-05-26 19:27来源:网络整理 作者:珠海翻译公司 点击:

0. 部分留意(预测)、concatenate、dropout:

vocab.20K.en:

2. 全局留意、点积、dropout:

2. Model 2:

4. 全局留意、双线性方式、dropout:

vocab.2K.cs:

newstest2026.en:

newstest2024.de:

4. 部分留意(预测)、点积、dropout:

vocab.60K.en ()

对于剪枝NMT(pruning NMT),请引用以下论文(假设你对代码有兴味,请联络咱们):

词汇库(最常见的6万个词):

训练集(蕴含2680万个句子对)

tst2024.en:

vocab.20K.en:

2. Model 2 :

vocab.vi:

咱们放出了预训练好的模型,可能间接经过咱们的Matlab代码利用。

预训练的模型

newstest2026.cs:

词汇库(最常见的词):

Hieu Pham

IWSLT'26英文-越南语基于留意的模型(attention-based models)

对于混合NMT(hybrid NMT),请利用这个代码库并且引用:

8. 部分留意(预测)、双线性方式:

vocab.2K.en:

对于通用的基于留意的NMT(general attention-based NMT),请引用以下论文:

越南语训练集(train.vi):

newstest2026.de:

4. 部分留意(枯燥)、双线性方式:

摘要:几乎之前一切的神经机器翻译(NMT)利用的词汇都受限,随后能够用一个方法来修补未知的单词。本论文展示了一个全新的能完成开放词汇神经机器翻译(open vocabulary NMT)的词-字符处理方法。咱们建设了一个混合的系统,可以完成大局部的词级(word level)翻译,并可查阅稀有词的字母组成。咱们字符级的循环神经网络能计算源词的表征,并能在需求时恢复未知的指标词。这种混合的方法还有一个双重优点是,与基于字符的网络相比,它更快且更容易训练;同时,它不像基于词的模型那样会产生未知的词。在WMT' 26英文-捷克语的翻译义务上,这种混合方法还完成了一个额外的+ 2.2 BLEU分的降职——超过已经能解决未知单词的模型22.4 BLEU分。咱们的最佳系统在这个义务上达到了新的最佳体现:20.8 BLEU分。咱们证实了咱们的字符模型不只能胜利地学习生成方式很好的捷克语词(这是一种词汇简单高度屈折的言语),还能为英文源词建设了正确的表征。

vocab.20K.cs:

vocab.en:

vocab.60K.cs:

训练集(蕴含460万个句子对)

测试集:

newstest2024.cs:

训练集(蕴含24.4万个句子对)

vocab.char.200.cs ()

代码库:https://github字符串/lmthang/nmt.hybrid

newstest2024.en: