論文の概要: On Subjective Uncertainty Quantification and Calibration in Natural Language Generation

• arxiv url: http://arxiv.org/abs/2406.05213v1
• Date: Fri, 7 Jun 2024 18:54:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 22:45:56.354970
• Title: On Subjective Uncertainty Quantification and Calibration in Natural Language Generation
• Title（参考訳）: 自然言語生成における主観的不確かさの定量化と校正について
• Authors: Ziyu Wang, Chris Holmes,
• Abstract要約: 大規模言語モデルは多くの場合、不確実な定量化が困難になるような自由形式の応答を生成する。 この研究はベイズ決定論の観点から、我々の効用は類似度尺度によって特徴づけられるという前提から、これらの課題に対処する。 本稿では,質問応答と機械翻訳タスクに関する提案手法について述べる。
• 参考スコア（独自算出の注目度）: 2.622066970118316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applications of large language models often involve the generation of free-form responses, in which case uncertainty quantification becomes challenging. This is due to the need to identify task-specific uncertainties (e.g., about the semantics) which appears difficult to define in general cases. This work addresses these challenges from a perspective of Bayesian decision theory, starting from the assumption that our utility is characterized by a similarity measure that compares a generated response with a hypothetical true response. We discuss how this assumption enables principled quantification of the model's subjective uncertainty and its calibration. We further derive a measure for epistemic uncertainty, based on a missing data perspective and its characterization as an excess risk. The proposed measures can be applied to black-box language models. We demonstrate the proposed methods on question answering and machine translation tasks, where they extract broadly meaningful uncertainty estimates from GPT and Gemini models and quantify their calibration.
• Abstract（参考訳）: 大規模言語モデルの応用は、しばしば自由形式応答の生成を伴い、不確実な定量化が困難になる。 これは、一般的な場合では定義が難しいタスク固有の不確実性(例:意味論)を特定する必要があるためである。 この研究はベイズ決定論の観点からこれらの課題に対処し、我々の効用は、生成した応答と仮説的真反応を比較する類似度尺度によって特徴づけられるという仮定から始まった。 本稿では,モデルの主観的不確実性とそのキャリブレーションを原理的に定量化する方法について論じる。 さらに、欠落したデータ視点に基づくてんかん不確実性の尺度を導出し、その特徴を過剰なリスクとして評価する。 提案手法はブラックボックス言語モデルに適用できる。 提案手法は,GPTモデルとGeminiモデルから広く意味のある不確実性推定を抽出し,キャリブレーションの定量化を行う。

関連論文リスト

• On the Calibration of Epistemic Uncertainty: Principles, Paradoxes and Conflictual Loss [3.8248583585487155]
  証拠不確実性は、Deep Ensembles、Bayesian Deep Networks、Evidential Deep Networksによって生成される。 測定可能ではあるが、この形の不確実性は客観的に校正することは困難である。 以上の要件に則った競合損失という,深層アンサンブルの正規化関数を提案する。
  論文  参考訳（メタデータ） (2024-07-16T23:21:28Z)
• Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness [106.52630978891054]
  視覚言語AIシステムに特有の不確実性の分類法を提案する。 また、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。
  論文  参考訳（メタデータ） (2024-07-02T04:23:54Z)
• To Believe or Not to Believe Your LLM [51.2579827761899]
  大規模言語モデル(LLM)における不確実性定量化について検討する。 疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。 定式化の利点を実証する一連の実験を行う。
  論文  参考訳（メタデータ） (2024-06-04T17:58:18Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Deep Evidential Learning for Bayesian Quantile Regression [3.6294895527930504]
  1つの決定論的フォワードパスモデルから正確な不確実性を推定することが望ましい。 本稿では,ガウス的仮定を使わずに連続目標分布の量子化を推定できるディープベイズ量子回帰モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-21T11:42:16Z)
• Conformal Prediction with Large Language Models for Multi-Choice Question Answering [7.049780432343948]
  共形予測からの不確実性推定は予測精度と密接に相関していることがわかった。 この研究は、安全クリティカルな状況において、より信頼性が高く信頼性の高い大規模言語モデルの活用に寄与する。
  論文  参考訳（メタデータ） (2023-05-28T15:26:10Z)
• Uncertainty-Aware Natural Language Inference with Stochastic Weight Averaging [8.752563431501502]
  本稿では,自然言語理解(NLU)タスクにおけるウェイト平均ガウス(SWAG)を用いたベイズ的不確実性モデリングを提案する。 提案手法の有効性を,ヒトのアノテーションの不一致に対する予測精度と相関性の観点から示す。
  論文  参考訳（メタデータ） (2023-04-10T17:37:23Z)
• Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation [37.37606905433334]
  我々は,「意味的同値性」により,自然言語の不確実性の測定が困難であることを示す。 意味的エントロピー(semantic entropy)は、共有された意味によって生成される言語的不変性を含むエントロピーである。 本手法は教師なしで,単一のモデルのみを使用し,既製の言語モデルの変更は不要である。
  論文  参考訳（メタデータ） (2023-02-19T20:10:07Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。