論文の概要: Model-Based Minimum Bayes Risk Decoding
- arxiv url: http://arxiv.org/abs/2311.05263v1
- Date: Thu, 9 Nov 2023 10:46:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 15:42:41.253456
- Title: Model-Based Minimum Bayes Risk Decoding
- Title(参考訳): モデルベース最小ベイズリスク復号
- Authors: Yuu Jinnai, Tetsuro Morimura, Ukyo Honda, Kaito Ariu, Kenshi Abe
- Abstract要約: 最小ベイズリスク(MBR)デコーディングは、ビームサーチデコーディングの強力な代替手段であることが示されている。
テキスト生成タスクにおけるモンテカルロ推定よりもモデルに基づく推定の方が有望であることを示す。
- 参考スコア(独自算出の注目度): 7.984704311898428
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Minimum Bayes Risk (MBR) decoding has been shown to be a powerful alternative
to beam search decoding in a variety of text generation tasks. MBR decoding
selects a hypothesis from a pool of hypotheses that has the least expected risk
under a probability model according to a given utility function. Since it is
impractical to compute the expected risk exactly over all possible hypotheses,
two approximations are commonly used in MBR. First, it integrates over a
sampled set of hypotheses rather than over all possible hypotheses. Second, it
estimates the probability of each hypothesis using a Monte Carlo estimator.
While the first approximation is necessary to make it computationally feasible,
the second is not essential since we typically have access to the model
probability at inference time. We propose Model-Based MBR (MBMBR), a variant of
MBR that uses the model probability itself as the estimate of the probability
distribution instead of the Monte Carlo estimate. We show analytically and
empirically that the model-based estimate is more promising than the Monte
Carlo estimate in text generation tasks. Our experiments show that MBMBR
outperforms MBR in several text generation tasks, both with encoder-decoder
models and with large language models.
- Abstract(参考訳): 最小ベイズリスク(MBR)デコーディングは、テキスト生成タスクにおけるビームサーチデコーディングの強力な代替手段であることが示されている。
MBR復号法は、与えられたユーティリティ関数に従って確率モデルの下で最小のリスクを持つ仮説のプールから仮説を選択する。
予想されるリスクを全ての仮説で正確に計算することは不可能であるため、MBRでは2つの近似が一般的に用いられる。
まず、すべての可能な仮説よりもむしろ、サンプル化された仮説の集合を統合する。
第二に、モンテカルロ推定器を用いて各仮説の確率を推定する。
第1の近似は計算可能となるために必要であるが、第2の近似は通常、推論時にモデル確率にアクセスするため必須ではない。
MBR のモデルベース MBR (MBMBR) は,モデル確率自体をモンテカルロ推定の代わりに確率分布の推定値として用いる。
テキスト生成タスクにおけるモンテカルロ推定よりもモデルに基づく推定の方が有望であることを示す。
実験の結果,MBMBRはエンコーダデコーダモデルと大規模言語モデルの両方で,テキスト生成タスクにおいてMBRよりも優れていた。
関連論文リスト
- BayesBlend: Easy Model Blending using Pseudo-Bayesian Model Averaging, Stacking and Hierarchical Stacking in Python [0.0]
重みを推定し、複数の(ベイジアン)モデルの予測分布をブレンドするために、BayesBlend Pythonパッケージを導入する。
ベイズブレンドは、モデルウェイトを推定するために擬ベイズモデルの平均化、積み重ね、一意的に階層的ベイズ積み重ねを実装している。
ベイズブレンドの保険損失モデリングの例を例に紹介する。
論文 参考訳(メタデータ) (2024-04-30T19:15:33Z) - On the True Distribution Approximation of Minimum Bayes-Risk Decoding [3.409873726183299]
最小ベイズリスク(MBR)復号化はテキスト生成において新たな注目を集めている。
従来の研究では,サンプリング法によって性能が変化することが報告されている。
本研究は異常検出を用いて近似の度合いを計測する。
論文 参考訳(メタデータ) (2024-03-31T17:47:22Z) - Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。
提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。
実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-11-25T03:38:14Z) - Machine Reading Comprehension using Case-based Reasoning [92.51061570746077]
本稿では,機械読解における解答抽出の正確かつ解釈可能な手法を提案する。
本手法は,類似した質問に対する文脈的回答が相互に意味的類似性を共有するという仮説に基づいている。
論文 参考訳(メタデータ) (2023-05-24T07:09:56Z) - Conformal Nucleus Sampling [67.5232384936661]
最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。
OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
論文 参考訳(メタデータ) (2023-05-04T08:11:57Z) - Predictive Multiplicity in Probabilistic Classification [25.111463701666864]
確率的分類における予測的乗数性を測定するための枠組みを提案する。
実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。
その結果,予測多重度をより広範囲に報告する必要性が強調された。
論文 参考訳(メタデータ) (2022-06-02T16:25:29Z) - BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
非決定論的分布を前提とした新しい学習パラダイムを提案する。
提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
論文 参考訳(メタデータ) (2022-03-31T05:19:38Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳(メタデータ) (2021-06-07T17:44:49Z) - Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic
Regression [51.770998056563094]
PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。
既存の最先端手法と比較してPGBMの利点を実証的に示す。
論文 参考訳(メタデータ) (2021-06-03T08:32:13Z) - Approximate Bayesian inference from noisy likelihoods with Gaussian
process emulated MCMC [0.24275655667345403]
ガウス過程(GP)を用いた対数様関数をモデル化する。
主な方法論的革新は、正確なメトロポリス・ハスティングス(MH)サンプリングが行う進歩をエミュレートするためにこのモデルを適用することである。
得られた近似サンプリング器は概念的には単純で、試料効率が高い。
論文 参考訳(メタデータ) (2021-04-08T17:38:02Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳(メタデータ) (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。