論文の概要: Understanding the Properties of Minimum Bayes Risk Decoding in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2105.08504v1
• Date: Tue, 18 May 2021 13:31:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 18:46:57.008488
• Title: Understanding the Properties of Minimum Bayes Risk Decoding in Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳における最小ベイズリスク復号の特性の理解
• Authors: Mathias M\"uller and Rico Sennrich
• Abstract要約: ニューラルマシン翻訳(nmt)は現在、短すぎる翻訳や頻繁な単語の過剰生成といったバイアスを示している。 最近の研究はこれらの欠点をビームサーチに結びつけている。 Eikema & Aziz (2020) は、代わりに最小ベイズリスク(MBR)デコードを使用することを提案した。
• 参考スコア（独自算出の注目度）: 26.33252528975464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Machine Translation (NMT) currently exhibits biases such as producing translations that are too short and overgenerating frequent words, and shows poor robustness to copy noise in training data or domain shift. Recent work has tied these shortcomings to beam search -- the de facto standard inference algorithm in NMT -- and Eikema & Aziz (2020) propose to use Minimum Bayes Risk (MBR) decoding on unbiased samples instead. In this paper, we empirically investigate the properties of MBR decoding on a number of previously reported biases and failure cases of beam search. We find that MBR still exhibits a length and token frequency bias, owing to the MT metrics used as utility functions, but that MBR also increases robustness against copy noise in the training data and domain shift.
• Abstract（参考訳）: ニューラルマシン翻訳(nmt)は現在、短すぎる翻訳や頻繁な単語の過剰生成といったバイアスを示しており、トレーニングデータやドメインシフトのノイズをコピーするロバスト性が乏しい。 最近の研究はこれらの欠点をビーム探索(nmtのデファクト標準推論アルゴリズム)と結びつけており、eikema & aziz (2020) は最小ベイズリスク(mbr)をバイアスのないサンプルにデコードすることを提案している。 本稿では,これまでに報告された多数のバイアスとビームサーチの故障事例に対するmbr復号の特性について実験的に検討する。 MBRは、実用関数として使用されるMT測定値から、長さとトークンの周波数バイアスがまだ残っているが、トレーニングデータやドメインシフトのコピーノイズに対する堅牢性も向上している。

関連論文リスト

• Unveiling the Power of Source: Source-based Minimum Bayes Risk Decoding for Neural Machine Translation [30.323103270892734]
  ニューラルマシン翻訳(NMT)の一般的な手法である、最大後部復号法は、推定後部確率を最大化することを目的としている。 最小ベイズリスク(MBR)復号法は、最も期待されているユーティリティで仮説を求める方法を提供する。 以上の結果から, sMBRはNMT復号法として有望なアプローチであることが示唆された。
  論文  参考訳（メタデータ） (2024-06-17T15:13:52Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• Centroid-Based Efficient Minimum Bayes Risk Decoding [38.04403087991526]
  最小ベイズリスク(MBR)復号化はCOMETを用いて最先端の翻訳性能を達成した。 MBR復号法は、翻訳仮説とすべての参照翻訳の間の期待スコアを計算するため、2次時間を必要とする。 提案手法は特徴空間内の参照翻訳をクラスタリングし,各クラスタのセントロイドを用いてスコアを算出する。
  論文  参考訳（メタデータ） (2024-02-17T05:15:12Z)
• Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
  最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。 これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。 本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
  論文  参考訳（メタデータ） (2024-02-06T18:59:30Z)
• Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding [5.639904484784127]
  最小ベイズリスクデコーディング(MBR)は、幅広いテキスト生成タスクに対するビームサーチデコーディングの強力な代替手段である。 MBRは、目的を計算するのに膨大な時間を必要とする。 CBP(Confidence-based pruning)は、最近機械翻訳タスクにおける推論時間を削減するために提案されている。
  論文  参考訳（メタデータ） (2024-01-05T11:02:08Z)
• Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
  本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。 提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。 実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-11-25T03:38:14Z)
• It's MBR All the Way Down: Modern Generation Techniques Through the Lens of Minimum Bayes Risk [57.641436861482696]
  最小ベイズリスク(MBR)復号法(英: Minimum Bayes Risk, MBR)は、最も高い確率で出力するだけでなく、複数の候補の間で最も低いリスク(予測誤差)を持つ出力に基づいて、機械学習システムの出力を選択する方法である。
  論文  参考訳（メタデータ） (2023-10-02T17:47:10Z)
• Bridging the Domain Gaps in Context Representations for k-Nearest Neighbor Neural Machine Translation [57.49095610777317]
  $k$-Nearestの隣人機械翻訳($k$NN-MT)は、新しい翻訳ドメインに非パラメトリックに適応する能力によって注目を集めている。 本稿では,元のデータストアを再構築することで,$k$NN-MTのデータストア検索を高速化する手法を提案する。 提案手法は,$k$NN-MTのデータストア検索と翻訳品質を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T03:04:42Z)
• Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum Bayes Risk Decoding for Machine Translation [20.749494856466526]
  最小ベイズリスク復号法における候補リスト生成のためのサンプリング手法の違いが性能に与える影響を示す。 それらの限界に対する洞察に基づいて、最近提案されたエプシロンサンプリングアプローチを実験し、エプシロンよりも小さい確率で全てのトークンを掘り起こす。
  論文  参考訳（メタデータ） (2023-05-17T00:11:38Z)
• DC-MBR: Distributional Cooling for Minimum Bayesian Risk Decoding [53.33313271531839]
  最小ベイズリスク復号(MBR)は、ニューラルネットワーク翻訳において有望な復号アルゴリズムとして現れる。 ラベルの平滑化はビームサーチによる良好な改善と各種タスクの汎用性の向上をもたらすため,MBRはラベルの平滑化に優れる。 トークンレベルの分布とシーケンスレベルの分布にラベルスムージングの不整合が生じることを示す。
  論文  参考訳（メタデータ） (2022-12-08T11:40:31Z)
• Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in Non-Autoregressive Translation [98.11249019844281]
  知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。 低周波対象語に対するアライメントを向上するために,逆KDを提案する。 その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-02T02:41:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。