論文の概要: Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding
- arxiv url: http://arxiv.org/abs/2401.02749v1
- Date: Fri, 5 Jan 2024 11:02:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 15:18:01.072026
- Title: Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding
- Title（参考訳）: 最短ベイズリスク復号のためのハイパーパラメータフリー手法
- Authors: Yuu Jinnai and Kaito Ariu
- Abstract要約: 最小ベイズリスクデコーディング(MBR)は、幅広いテキスト生成タスクに対するビームサーチデコーディングの強力な代替手段である。
MBRは、目的を計算するのに膨大な時間を必要とする。
CBP(Confidence-based pruning)は、最近機械翻訳タスクにおける推論時間を削減するために提案されている。
- 参考スコア（独自算出の注目度）: 6.662800021628276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Minimum Bayes-Risk (MBR) decoding is shown to be a powerful alternative to
beam search decoding for a wide range of text generation tasks. However, MBR
requires a huge amount of time for inference to compute the MBR objective,
which makes the method infeasible in many situations where response time is
critical. Confidence-based pruning (CBP) (Cheng and Vlachos, 2023) has recently
been proposed to reduce the inference time in machine translation tasks.
Although it is shown to significantly reduce the amount of computation, it
requires hyperparameter tuning using a development set to be effective. To this
end, we propose Approximate Minimum Bayes-Risk (AMBR) decoding, a
hyperparameter-free method to run MBR decoding approximately. AMBR is derived
from the observation that the problem of computing the sample-based MBR
objective is the medoid identification problem. AMBR uses the Correlated
Sequential Halving (CSH) algorithm (Baharav and Tse, 2019), the best
approximation algorithm to date for the medoid identification problem, to
compute the sample-based MBR objective. We evaluate AMBR on machine
translation, text summarization, and image captioning tasks. The results show
that AMBR achieves on par with CBP, with CBP selecting hyperparameters through
an Oracle for each given computation budget.
- Abstract（参考訳）: 最小ベイズリスクデコーディング(MBR)は、幅広いテキスト生成タスクに対するビームサーチデコーディングの強力な代替手段であることが示されている。
しかし、mbrはmbrの目的を計算するのに膨大な時間を必要とするため、応答時間が重要となる多くの状況でメソッドが実行不可能となる。
CBP (Cheng and Vlachos, 2023) は近年, 機械翻訳作業における推論時間を削減するために提案されている。
計算量を大幅に削減することが示されているが、効率的な開発セットを使用するハイパーパラメータチューニングが必要である。
そこで本研究では,MBRデコードを実行するハイパーパラメータフリーな手法であるAMBRデコードを提案する。
AMBRはサンプルベースMBR目標の計算がメドイド識別問題であることから導かれる。
ambrは、サンプルベースのmbrの目的を計算するために、メドロイドの識別問題に最も近い近似アルゴリズムであるcorrelationd sequential halving (csh)アルゴリズム(baharav and tse, 2019)を使用している。
機械翻訳,テキスト要約,画像キャプションタスクにおけるAMBRの評価を行った。
その結果, AMBR は CBP と同等であり, CBP は計算予算ごとに Oracle を介してハイパーパラメータを選択する。
関連論文リスト
- Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。
WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文 参考訳（メタデータ） (2024-10-28T04:47:39Z) - Efficient Minimum Bayes Risk Decoding using Low-Rank Matrix Completion Algorithms [19.543681023903456]
行列補完問題として最小ベイズリスク(MBR)デコーディングを定式化する。
我々は、スコアのランダムな部分集合のみを計算し、行列の欠落したエントリを効率的に回収することでこれを活用する。
機械翻訳タスクに対する実験結果から,提案手法は1/16の有効量計算を必要とすることが示された。
論文 参考訳（メタデータ） (2024-06-05T00:54:03Z) - Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。
これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。
本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
論文 参考訳（メタデータ） (2024-02-06T18:59:30Z) - Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding [4.209844101827474]
多様性目標を最小ベイズ・リスク復号化に適用することにより,多様性向上のための復号化アルゴリズムを開発した。
我々は、エンコーダデコーダモデルとプロンプト付き大規模言語モデルを用いて、様々な有向テキスト生成タスクにおいてDMBRとKMBRを評価する。
論文 参考訳（メタデータ） (2024-01-10T10:23:41Z) - Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。
提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。
実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2023-11-25T03:38:14Z) - It's MBR All the Way Down: Modern Generation Techniques Through the Lens
of Minimum Bayes Risk [57.641436861482696]
最小ベイズリスク(MBR)復号法(英: Minimum Bayes Risk, MBR)は、最も高い確率で出力するだけでなく、複数の候補の間で最も低いリスク(予測誤差)を持つ出力に基づいて、機械学習システムの出力を選択する方法である。
論文 参考訳（メタデータ） (2023-10-02T17:47:10Z) - Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum
Bayes Risk Decoding for Machine Translation [20.749494856466526]
最小ベイズリスク復号法における候補リスト生成のためのサンプリング手法の違いが性能に与える影響を示す。
それらの限界に対する洞察に基づいて、最近提案されたエプシロンサンプリングアプローチを実験し、エプシロンよりも小さい確率で全てのトークンを掘り起こす。
論文 参考訳（メタデータ） (2023-05-17T00:11:38Z) - DC-MBR: Distributional Cooling for Minimum Bayesian Risk Decoding [53.33313271531839]
最小ベイズリスク復号(MBR)は、ニューラルネットワーク翻訳において有望な復号アルゴリズムとして現れる。
ラベルの平滑化はビームサーチによる良好な改善と各種タスクの汎用性の向上をもたらすため,MBRはラベルの平滑化に優れる。
トークンレベルの分布とシーケンスレベルの分布にラベルスムージングの不整合が生じることを示す。
論文 参考訳（メタデータ） (2022-12-08T11:40:31Z) - Integrate Lattice-Free MMI into End-to-End Speech Recognition [87.01137882072322]
音声認識(ASR)研究において、識別基準はDNN-HMMシステムにおいて優れた性能を達成している。
このモチベーションにより、差別的基準の採用は、エンドツーエンド(E2E)のASRシステムの性能を高めることを約束している。
これまでの研究は、最小ベイズリスク(MBR、差別基準の一つ)をE2E ASRシステムに導入してきた。
本研究では,他の広く使われている識別基準であるLF-MMIをE2Eに統合する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-29T14:32:46Z) - Understanding the Properties of Minimum Bayes Risk Decoding in Neural
Machine Translation [26.33252528975464]
ニューラルマシン翻訳(nmt)は現在、短すぎる翻訳や頻繁な単語の過剰生成といったバイアスを示している。
最近の研究はこれらの欠点をビームサーチに結びつけている。
Eikema & Aziz (2020) は、代わりに最小ベイズリスク(MBR)デコードを使用することを提案した。
論文 参考訳（メタデータ） (2021-05-18T13:31:05Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳（メタデータ） (2020-09-28T15:22:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。