論文の概要: Uncertainty-Aware Decoding with Minimum Bayes Risk

• arxiv url: http://arxiv.org/abs/2503.05318v1
• Date: Fri, 07 Mar 2025 10:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:25:11.474334
• Title: Uncertainty-Aware Decoding with Minimum Bayes Risk
• Title（参考訳）: 最小ベイズリスクを考慮した不確実性認識復号
• Authors: Nico Daheim, Clara Meister, Thomas Möllenhoff, Iryna Gurevych,
• Abstract要約: 予測されたリスクに応じてモデル生成を選択する最小ベイズリスク復号法を,原理化された不確実性認識復号法に一般化する方法を示す。 この修正された予測リスクは、出力の選択と生成をいつ中止するかの判断の両方に有用であり、オーバーヘッドを発生させることなく改善を提供できることを示す。
• 参考スコア（独自算出の注目度）: 70.6645260214115
• License:
• Abstract: Despite their outstanding performance in the majority of scenarios, contemporary language models still occasionally generate undesirable outputs, for example, hallucinated text. While such behaviors have previously been linked to uncertainty, there is a notable lack of methods that actively consider uncertainty during text generation. In this work, we show how Minimum Bayes Risk (MBR) decoding, which selects model generations according to an expected risk, can be generalized into a principled uncertainty-aware decoding method. In short, we account for model uncertainty during decoding by incorporating a posterior over model parameters into MBR's computation of expected risk. We show that this modified expected risk is useful for both choosing outputs and deciding when to abstain from generation and can provide improvements without incurring overhead. We benchmark different methods for learning posteriors and show that performance improves with prediction diversity. We release our code publicly.
• Abstract（参考訳）: 大部分のシナリオにおいて優れたパフォーマンスを保っているにもかかわらず、現代言語モデルは時折、幻覚テキストのような望ましくない出力を生成する。 このような行動は、これまで不確実性と関連付けられてきたが、テキスト生成中に積極的に不確実性を考慮する方法が欠如している。 本研究では,予測されるリスクに応じてモデル生成を選択する最小ベイズリスク(MBR)デコーディングを,原則付き不確実性認識デコーディングに一般化する方法を示す。 本稿では,MBRの予測リスク計算に後続モデルパラメータを組み込むことにより,復号化時のモデル不確実性を考察する。 この修正された予測リスクは、出力の選択と生成をいつ中止するかの判断の両方に有用であり、オーバーヘッドを発生させることなく改善を提供できることを示す。 後方学習のための異なる手法をベンチマークし、予測の多様性によって性能が向上することを示す。 コードを公開しています。

関連論文リスト

• Distributionally Robust Optimisation with Bayesian Ambiguity Sets [8.642152250082368]
  ベイズアンビグニティセット(DRO-BAS)を用いた分布ロバスト最適化について紹介する。 DRO-BASは、後部インフォームドのあいまいさセットよりも最悪のケースリスクを最適化することで、モデルの不確実性に対してヘッジを行う。 本手法は,多くの指数関数族に対して閉形式双対表現を許容することを示す。
  論文  参考訳（メタデータ） (2024-09-05T12:59:38Z)
• Beyond the Norms: Detecting Prediction Errors in Regression Models [26.178065248948773]
  本稿では,回帰アルゴリズムにおける信頼できない振る舞いを検出するという課題に取り組む。 回帰器の出力が特定の不一致(または誤り)を超えた場合、回帰における不確実性の概念を導入する。 複数の回帰タスクに対する誤り検出の実証的改善を示す。
  論文  参考訳（メタデータ） (2024-06-11T05:51:44Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Integrating Uncertainty into Neural Network-based Speech Enhancement [27.868722093985006]
  時間周波数領域における監視されたマスキングアプローチは、ディープニューラルネットワークを使用して乗法マスクを推定し、クリーンな音声を抽出することを目的としている。 これにより、信頼性の保証や尺度を使わずに、各入力に対する単一の見積もりが導かれる。 クリーン音声推定における不確実性モデリングの利点について検討する。
  論文  参考訳（メタデータ） (2023-05-15T15:55:12Z)
• Optimizing the Performative Risk under Weak Convexity Assumptions [0.0]
  性能予測において、予測モデルは将来のデータを生成する分布に影響を与える。 これまでの研究では、損失に関する一般的な条件とモデルパラメータから分布へのマッピングが特定されており、凸性はパフォーマンスリスクを意味する。 本稿では,反復最適化法における性能最小化リスク問題の回避性を犠牲にすることなく,これらの仮定を緩和する。
  論文  参考訳（メタデータ） (2022-09-02T01:07:09Z)
• A Geometric Method for Improved Uncertainty Estimation in Real-time [13.588210692213568]
  ポストホックモデルキャリブレーションは、再トレーニングを必要とせずにモデルの不確実性推定を改善することができる。 我々の研究は不確実性推定のための幾何学的アプローチを推し進めている。 提案手法は,最近提案された手法よりも不確実性評価が優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:18:05Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Thompson Sampling Algorithms for Mean-Variance Bandits [97.43678751629189]
  我々は平均分散MABのためのトンプソンサンプリング型アルゴリズムを開発した。 我々はまた、ガウシアンとベルヌーイの盗賊に対する包括的後悔の分析も提供する。 我々のアルゴリズムは、全てのリスク許容度に対して既存のLCBベースのアルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2020-02-01T15:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。