論文の概要: Is MAP Decoding All You Need? The Inadequacy of the Mode in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2005.10283v2
• Date: Wed, 28 Oct 2020 11:29:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 05:31:17.005591
• Title: Is MAP Decoding All You Need? The Inadequacy of the Mode in Neural Machine Translation
• Title（参考訳）: MAPデコーディングは必要か? ニューラルネットワーク翻訳におけるモードの不適切性
• Authors: Bryan Eikema and Wilker Aziz
• Abstract要約: NMTの病態とバイアスのいくつかはMAP復号によるものであり,NMTの統計的仮定やMLEによるものではない。 我々は、最小ベイズリスク復号化に対する近似が、NMTモデルが期待通りに翻訳の重要な側面を捉えていることを示す競争結果を与えることを示した。
• 参考スコア（独自算出の注目度）: 15.615065041164623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have revealed a number of pathologies of neural machine translation (NMT) systems. Hypotheses explaining these mostly suggest there is something fundamentally wrong with NMT as a model or its training algorithm, maximum likelihood estimation (MLE). Most of this evidence was gathered using maximum a posteriori (MAP) decoding, a decision rule aimed at identifying the highest-scoring translation, i.e. the mode. We argue that the evidence corroborates the inadequacy of MAP decoding more than casts doubt on the model and its training algorithm. In this work, we show that translation distributions do reproduce various statistics of the data well, but that beam search strays from such statistics. We show that some of the known pathologies and biases of NMT are due to MAP decoding and not to NMT's statistical assumptions nor MLE. In particular, we show that the most likely translations under the model accumulate so little probability mass that the mode can be considered essentially arbitrary. We therefore advocate for the use of decision rules that take into account the translation distribution holistically. We show that an approximation to minimum Bayes risk decoding gives competitive results confirming that NMT models do capture important aspects of translation well in expectation.
• Abstract（参考訳）: 最近の研究では、神経機械翻訳(NMT)システムの多くの病理が明らかにされている。 これらを説明する仮説は、NMTがモデルまたはそのトレーニングアルゴリズムである最大推定(MLE)に根本的な誤りがあることを主に示唆している。 これらの証拠の多くは、最上位の翻訳、すなわちモードを特定するための決定規則である最大後部復号法(MAP)を用いて収集された。 我々は,MAPデコーディングの不適切さが,モデルとそのトレーニングアルゴリズムに対する疑念を招きかねないことを論じる。 本研究では,翻訳分布がデータの様々な統計をよく再現するが,ビーム探索はそのような統計から逸脱することを示す。 NMTの病態とバイアスのいくつかはMAP復号によるものであり,NMTの統計的仮定やMLEによるものではない。 特に、モデルの下で最も可能性の高い翻訳は、ほとんど確率質量を蓄積しないので、モードは本質的に任意のものと考えられる。 そこで我々は,翻訳分布を階層的に考慮した決定規則の利用を提唱する。 最小ベイズリスクデコードへの近似は、nmtモデルが期待通りに翻訳の重要な側面を捉えていることを示す競合結果を与える。

関連論文リスト

• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• Automatic Evaluation and Analysis of Idioms in Neural Machine Translation [12.227312923011986]
  人間の関与なしにリテラル翻訳誤りの頻度を測定するための新しい指標を提案する。 モノリンガル事前学習の役割を探求し、それが実質的な改善をもたらすことを発見した。 ランダムなイディオムモデルは、文脈の変化の影響を受けないため、より局所的あるいは「ミオピック」であることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T10:30:09Z)
• Quality-Aware Decoding for Neural Machine Translation [64.24934199944875]
  ニューラルネットワーク翻訳(NMT)のための品質認識復号法を提案する。 参照フリーおよび参照ベースMT評価における最近のブレークスルーを,様々な推論手法を用いて活用する。 品質認識復号化は、最先端の自動測定値と人的評価値の両方で、MAPベースの復号化を一貫して上回ります。
  論文  参考訳（メタデータ） (2022-05-02T15:26:28Z)
• Sampling-Based Minimum Bayes Risk Decoding for Neural Machine Translation [20.76001576262768]
  本研究では,最小ベイズリスク (MBR) 復号化に対するサンプリングに基づく近似がビーム探索の呪文と等価でないことを示す。 また,ビーム探索や核サンプリングといった手法を用いて仮説空間を効率的に構築することが有用であることを示す。
  論文  参考訳（メタデータ） (2021-08-10T14:35:24Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)
• Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models [72.56058378313963]
  NMTモデルで学習したバイリンガル知識をフレーズテーブルで評価することで,このギャップを埋める。 NMTモデルは、単純なものから複雑なものまでパターンを学習し、トレーニング例から本質的なバイリンガル知識を抽出する。
  論文  参考訳（メタデータ） (2020-04-28T03:44:34Z)
• Cross-lingual Supervision Improves Unsupervised Neural Machine Translation [97.84871088440102]
  我々は,高リソース言語対からゼロリソース翻訳方向への弱教師付き信号を活用するために,多言語非教師付きNMTフレームワークを導入する。 6つのベンチマークの教師なし翻訳方向において,BLEUスコアが3以上あることにより,翻訳品質が大幅に向上する。
  論文  参考訳（メタデータ） (2020-04-07T05:46:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。