論文の概要: Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum
Bayes Risk Decoding for Machine Translation
- arxiv url: http://arxiv.org/abs/2305.09860v2
- Date: Thu, 18 May 2023 02:24:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 10:35:28.548672
- Title: Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum
Bayes Risk Decoding for Machine Translation
- Title(参考訳): エプシロンサンプリング岩:機械翻訳における最小ベイズリスクデコードのためのサンプリング戦略の検討
- Authors: Markus Freitag and Behrooz Ghorbani and Patrick Fernandes
- Abstract要約: 最小ベイズリスク復号法における候補リスト生成のためのサンプリング手法の違いが性能に与える影響を示す。
それらの限界に対する洞察に基づいて、最近提案されたエプシロンサンプリングアプローチを実験し、エプシロンよりも小さい確率で全てのトークンを掘り起こす。
- 参考スコア(独自算出の注目度): 20.749494856466526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in machine translation (MT) have shown that Minimum Bayes
Risk (MBR) decoding can be a powerful alternative to beam search decoding,
especially when combined with neural-based utility functions. However, the
performance of MBR decoding depends heavily on how and how many candidates are
sampled from the model. In this paper, we explore how different sampling
approaches for generating candidate lists for MBR decoding affect performance.
We evaluate popular sampling approaches, such as ancestral, nucleus, and top-k
sampling. Based on our insights into their limitations, we experiment with the
recently proposed epsilon-sampling approach, which prunes away all tokens with
a probability smaller than epsilon, ensuring that each token in a sample
receives a fair probability mass. Through extensive human evaluations, we
demonstrate that MBR decoding based on epsilon-sampling significantly
outperforms not only beam search decoding, but also MBR decoding with all other
tested sampling methods across four language pairs.
- Abstract(参考訳): 機械翻訳(MT)の最近の進歩は、最小ベイズリスク(MBR)復号化がビーム探索復号法(特にニューラルベースユーティリティ関数と組み合わせた場合)の強力な代替となることを示している。
しかし、MBR復号法の性能は、モデルからどれだけの候補をサンプリングするかに大きく依存する。
本稿では,MBR復号化のための候補リストを生成するための異なるサンプリング手法が性能に与える影響について検討する。
我々は,祖先,核,トップkサンプリングなどの一般的なサンプリング手法を評価する。
それらの限界に対する洞察に基づいて、我々は最近提案されたエプシロンサンプリングアプローチを実験し、全てのトークンをエプシロンよりも小さい確率で掘り起こし、サンプルの各トークンが公正な確率質量を受け取ることを保証した。
エプシロンサンプリングに基づくmbrデコーディングは,人間による広範囲な評価により,ビーム探索デコーディングのみならず,他の4つの言語ペアをまたいだmbrデコード手法においても有意に優れていることが示された。
関連論文リスト
- Minimizing the Thompson Sampling Regret-to-Sigma Ratio (TS-RSR): a
provably efficient algorithm for batch Bayesian Optimization [5.461310760509014]
我々の目標は、不確実点間の冗長性を最小化する方法で、各バッチで選択されたアクションを調整できることです。
予測バッチアルゴリズムにおいて、最先端の理論的保証を提供する。
論文 参考訳(メタデータ) (2024-03-07T18:58:26Z) - Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [61.63208012250885]
最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。
これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。
本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
論文 参考訳(メタデータ) (2024-02-06T18:59:30Z) - Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding [4.598952248108299]
多様性目標を最小ベイズ・リスク復号化に適用することにより,多様性向上のための復号化アルゴリズムを開発した。
我々は、エンコーダデコーダモデルとプロンプト付き大規模言語モデルを用いて、様々な有向テキスト生成タスクにおいてDMBRとKMBRを評価する。
論文 参考訳(メタデータ) (2024-01-10T10:23:41Z) - Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding [6.662800021628276]
最小ベイズリスクデコーディング(MBR)は、幅広いテキスト生成タスクに対するビームサーチデコーディングの強力な代替手段である。
MBRは、目的を計算するのに膨大な時間を必要とする。
CBP(Confidence-based pruning)は、最近機械翻訳タスクにおける推論時間を削減するために提案されている。
論文 参考訳(メタデータ) (2024-01-05T11:02:08Z) - A Block Metropolis-Hastings Sampler for Controllable Energy-based Text
Generation [78.81021361497311]
我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。
対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
論文 参考訳(メタデータ) (2023-12-07T18:30:15Z) - Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。
提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。
実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-11-25T03:38:14Z) - Closing the Curious Case of Neural Text Degeneration [91.22954750742183]
トラニケートサンプリングの有効性を理論的に説明する。
モデルエラーの既知の源であるソフトマックスボトルネックを利用して、特定のトークンが真の確率がゼロでないことを示す。
提案手法は,低エントロピーテキスト生成におけるしきい値ベースよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-02T23:16:25Z) - Provably Convergent Subgraph-wise Sampling for Fast GNN Training [63.530816506578674]
収束保証,すなわちローカルメッセージ補償(LMC)を用いた新しいサブグラフワイズサンプリング手法を提案する。
LMCは、後方パスのメッセージパスの定式化に基づいて、後方パスで破棄されたメッセージを検索する。
大規模ベンチマーク実験により、LCCは最先端のサブグラフワイドサンプリング法よりもはるかに高速であることが示された。
論文 参考訳(メタデータ) (2023-03-17T05:16:49Z) - UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of
Diffusion Models [92.43617471204963]
拡散確率モデル(DPM)は高分解能画像合成において非常に有望な能力を示した。
我々は既存のDPMサンプリング器の後に適用可能な統一補正器(UniC)を開発し、精度を向上する。
そこで我々は,DPMの高速サンプリングのためのUniPCと呼ばれる統合予測器・相関器フレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-09T18:59:48Z) - Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。
本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-18T22:19:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。