論文の概要: Sampling-Based Minimum Bayes Risk Decoding for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2108.04718v1
• Date: Tue, 10 Aug 2021 14:35:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-11 17:01:53.870255
• Title: Sampling-Based Minimum Bayes Risk Decoding for Neural Machine Translation
• Title（参考訳）: サンプリングに基づくニューラルネットワーク翻訳のための最小ベイズリスクデコーディング
• Authors: Bryan Eikema and Wilker Aziz
• Abstract要約: 本研究では,最小ベイズリスク (MBR) 復号化に対するサンプリングに基づく近似がビーム探索の呪文と等価でないことを示す。 また,ビーム探索や核サンプリングといった手法を用いて仮説空間を効率的に構築することが有用であることを示す。
• 参考スコア（独自算出の注目度）: 20.76001576262768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In neural machine translation (NMT), we search for the mode of the model distribution to form predictions. The mode as well as other high probability translations found by beam search have been shown to often be inadequate in a number of ways. This prevents practitioners from improving translation quality through better search, as these idiosyncratic translations end up being selected by the decoding algorithm, a problem known as the beam search curse. Recently, a sampling-based approximation to minimum Bayes risk (MBR) decoding has been proposed as an alternative decision rule for NMT that would likely not suffer from the same problems. We analyse this approximation and establish that it has no equivalent to the beam search curse, i.e. better search always leads to better translations. We also design different approximations aimed at decoupling the cost of exploration from the cost of robust estimation of expected utility. This allows for exploration of much larger hypothesis spaces, which we show to be beneficial. We also show that it can be beneficial to make use of strategies like beam search and nucleus sampling to construct hypothesis spaces efficiently. We show on three language pairs (English into and from German, Romanian, and Nepali) that MBR can improve upon beam search with moderate computation.
• Abstract（参考訳）: ニューラルマシン翻訳(NMT)では,モデル分布のモードを探索して予測を行う。 ビーム探索によって発見された他の高確率翻訳と同様に、モードはしばしばいくつかの方法で不十分であることが示されている。 これにより、特殊な同期翻訳は、ビーム検索の呪いとして知られるデコードアルゴリズムによって選択されるため、より良い検索を通じて翻訳品質を改善することができない。 近年,nmtの代替決定ルールとして,最小ベイズリスク(mbr)復号に対するサンプリングベース近似が提案されている。 我々はこの近似を解析し、ビーム探索の呪いに相当するものを持たないことを立証する。 より良い検索は 常により良い翻訳につながる また,探索コストと期待ユーティリティのロバストな推定コストとの分離を目的とした,異なる近似も設計した。 これにより、より大きな仮説空間を探索できるが、これは有益であることを示す。 また,ビーム探索や核サンプリングなどの戦略を用いて仮説空間を効率的に構築することは有益であることを示す。 我々は、3つの言語対(ドイツ語、ルーマニア語、ネパール語)で、MBRは適度な計算でビームサーチにより改善可能であることを示す。

関連論文リスト

• Towards Faster k-Nearest-Neighbor Machine Translation [56.66038663128903]
  k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:41:29Z)
• Truncation Sampling as Language Model Desmoothing [115.28983143361681]
  ニューラルネットワークモデルからのテキストの長いサンプルは、品質が劣る可能性がある。 トランケーションサンプリングアルゴリズムは、各ステップでいくつかの単語の確率を0に設定する。 本稿では,単語をエントロピーに依存した確率閾値以下に切り詰める$eta$-samplingを導入する。
  論文  参考訳（メタデータ） (2022-10-27T05:52:35Z)
• Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
  ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。 本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T22:19:41Z)
• Rethinking the Evaluation of Neural Machine Translation [25.036685025571927]
  本稿では,探索誤りの影響を回避し,モデルランキングの観点からシステムレベルの評価を行う新しい評価プロトコルを提案する。 提案手法は,ビームサーチではなく,新たに提案した最上位k$デコードに基づく。
  論文  参考訳（メタデータ） (2021-06-29T09:59:50Z)
• Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in Non-Autoregressive Translation [98.11249019844281]
  知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。 低周波対象語に対するアライメントを向上するために,逆KDを提案する。 その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-02T02:41:40Z)
• Machine Translation Decoding beyond Beam Search [43.27883368285612]
  ビームサーチは自動回帰機械翻訳モデルの復号化手法である。 我々の目標は、ビームサーチがより強力な計量駆動サーチ技術に置き換えられるかどうかを確かめることである。 モンテカルロ木探索(mcts)に基づく手法を導入し,その競合性を示す。
  論文  参考訳（メタデータ） (2021-04-12T10:28:17Z)
• If beam search is the answer, what was the question? [78.71330480725668]
  ビームサーチは、認知科学に動機づけられた特性であるテキストの均一な情報密度を強制する。 この特性を明示的に強制する復号対象のセットを提案し、これらの目的による正確な復号化は、校正の不十分な言語生成モデルの復号時に発生する問題を緩和する。
  論文  参考訳（メタデータ） (2020-10-06T11:57:03Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)
• Is MAP Decoding All You Need? The Inadequacy of the Mode in Neural Machine Translation [15.615065041164623]
  NMTの病態とバイアスのいくつかはMAP復号によるものであり,NMTの統計的仮定やMLEによるものではない。 我々は、最小ベイズリスク復号化に対する近似が、NMTモデルが期待通りに翻訳の重要な側面を捉えていることを示す競争結果を与えることを示した。
  論文  参考訳（メタデータ） (2020-05-20T18:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。