論文の概要: Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum Bayes Risk Decoding for Machine Translation

• arxiv url: http://arxiv.org/abs/2305.09860v2
• Date: Thu, 18 May 2023 02:24:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 10:35:28.548672
• Title: Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum Bayes Risk Decoding for Machine Translation
• Title（参考訳）: エプシロンサンプリング岩:機械翻訳における最小ベイズリスクデコードのためのサンプリング戦略の検討
• Authors: Markus Freitag and Behrooz Ghorbani and Patrick Fernandes
• Abstract要約: 最小ベイズリスク復号法における候補リスト生成のためのサンプリング手法の違いが性能に与える影響を示す。 それらの限界に対する洞察に基づいて、最近提案されたエプシロンサンプリングアプローチを実験し、エプシロンよりも小さい確率で全てのトークンを掘り起こす。
• 参考スコア（独自算出の注目度）: 20.749494856466526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in machine translation (MT) have shown that Minimum Bayes Risk (MBR) decoding can be a powerful alternative to beam search decoding, especially when combined with neural-based utility functions. However, the performance of MBR decoding depends heavily on how and how many candidates are sampled from the model. In this paper, we explore how different sampling approaches for generating candidate lists for MBR decoding affect performance. We evaluate popular sampling approaches, such as ancestral, nucleus, and top-k sampling. Based on our insights into their limitations, we experiment with the recently proposed epsilon-sampling approach, which prunes away all tokens with a probability smaller than epsilon, ensuring that each token in a sample receives a fair probability mass. Through extensive human evaluations, we demonstrate that MBR decoding based on epsilon-sampling significantly outperforms not only beam search decoding, but also MBR decoding with all other tested sampling methods across four language pairs.
• Abstract（参考訳）: 機械翻訳(MT)の最近の進歩は、最小ベイズリスク(MBR)復号化がビーム探索復号法(特にニューラルベースユーティリティ関数と組み合わせた場合)の強力な代替となることを示している。 しかし、MBR復号法の性能は、モデルからどれだけの候補をサンプリングするかに大きく依存する。 本稿では,MBR復号化のための候補リストを生成するための異なるサンプリング手法が性能に与える影響について検討する。 我々は,祖先,核,トップkサンプリングなどの一般的なサンプリング手法を評価する。 それらの限界に対する洞察に基づいて、我々は最近提案されたエプシロンサンプリングアプローチを実験し、全てのトークンをエプシロンよりも小さい確率で掘り起こし、サンプルの各トークンが公正な確率質量を受け取ることを保証した。 エプシロンサンプリングに基づくmbrデコーディングは,人間による広範囲な評価により,ビーム探索デコーディングのみならず,他の4つの言語ペアをまたいだmbrデコード手法においても有意に優れていることが示された。

関連論文リスト

• Quasi-random Multi-Sample Inference for Large Language Models [1.647759094903376]
  大規模言語モデル(LLM)は、しばしばマルチサンプルデコード戦略を備えている。 ビームサーチやサンプリングベース技術のような従来のテキスト生成手法には、顕著な制限がある。 本研究では,算術的サンプリングの可能性について検討し,祖先的サンプリングと対比する。
  論文  参考訳（メタデータ） (2024-11-09T18:55:04Z)
• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号工程における多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法の本質的な能力を推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法の総合的な比較と,ユーザのガイドラインとして推奨されるパラメータについて紹介する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs [4.122612309805664]
  大規模言語モデル(LLM)は、各復号ステップにおける語彙上の確率分布から次のトークンをサンプリングしてテキストを生成する。 トップトークンの確率に応じてスケールすることでモデルの信頼度に基づいてサンプリングしきい値を調整する動的トランケーション法である min-p サンプリングを提案する。 我々はGPQA、GSM8K、AlpacaEval Creative Writingなどのベンチマーク実験を行い、min-pサンプリングが生成したテキストの品質と多様性を特に高温で改善することを示した。
  論文  参考訳（メタデータ） (2024-07-01T08:37:25Z)
• On the True Distribution Approximation of Minimum Bayes-Risk Decoding [3.409873726183299]
  最小ベイズリスク(MBR)復号化はテキスト生成において新たな注目を集めている。 従来の研究では,サンプリング法によって性能が変化することが報告されている。 本研究は異常検出を用いて近似の度合いを計測する。
  論文  参考訳（メタデータ） (2024-03-31T17:47:22Z)
• Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
  最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。 これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。 本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
  論文  参考訳（メタデータ） (2024-02-06T18:59:30Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
  本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。 提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。 実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-11-25T03:38:14Z)
• Provably Convergent Subgraph-wise Sampling for Fast GNN Training [122.68566970275683]
  収束保証,すなわちローカルメッセージ補償(LMC)を用いた新しいサブグラフワイズサンプリング手法を提案する。 LMCは、後方パスのメッセージパスの定式化に基づいて、後方パスで破棄されたメッセージを検索する。 大規模ベンチマーク実験により、LCCは最先端のサブグラフワイドサンプリング法よりもはるかに高速であることが示された。
  論文  参考訳（メタデータ） (2023-03-17T05:16:49Z)
• UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models [92.43617471204963]
  拡散確率モデル(DPM)は高分解能画像合成において非常に有望な能力を示した。 我々は既存のDPMサンプリング器の後に適用可能な統一補正器(UniC)を開発し、精度を向上する。 そこで我々は,DPMの高速サンプリングのためのUniPCと呼ばれる統合予測器・相関器フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:48Z)
• Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
  ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。 本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T22:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。