論文の概要: SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment
- arxiv url: http://arxiv.org/abs/2606.11512v1
- Date: Tue, 09 Jun 2026 23:17:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.213765
- Title: SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment
- Title(参考訳): SAGE: 言語的不確実性アライメントのための問合せ型不確実性ターゲット
- Authors: Kaiwen Shi, Zheyuan Zhang, Yanfang Ye,
- Abstract要約: そこで本研究では,サンプル応答に対する解条件付き不確実性幾何を構成するグループレベルの不確実性ターゲットを提案する。
実験では、不確実性ランキングの改善、キャリブレーション誤差の低減、信頼性の低下が示されている。
- 参考スコア(独自算出の注目度): 20.5795766462733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models increasingly express uncertainty through natural-language statements, yet these expressions often fail to reflect the model's sampled behavior. We study verbal uncertainty alignment as a distributional calibration problem: the appropriate uncertainty target for a prompt should be estimated from repeated model outputs rather than from an isolated response. However, group rollouts alone are insufficient, since the resulting target must provide a useful training signal. Existing targets only partially satisfy this requirement. We propose SAGE, Semantic-Answer Guided Entropy, a group-level uncertainty target that constructs an answer-conditioned uncertainty geometry over sampled responses. SAGE preserves categorical, numeric, and symbolic answer distinctions while maintaining a smooth and scale-preserving calibration signal. We further apply this target through Group-Uncertainty Preference Optimization, or GUPO, an uncertainty-channel training framework that supervises verbal uncertainty expressions rather than the full response. Experiments across factual, mathematical, and multiple-choice reasoning tasks show improved uncertainty ranking, lower calibration error, and reduced overconfidence.
- Abstract(参考訳): 大規模言語モデルは、自然言語文を通じて不確実性を表現する傾向にあるが、これらの表現は、しばしばモデルのサンプリングされた振る舞いを反映しない。
本研究では,不確実性アライメントを分布キャリブレーション問題として検討し,プロンプトに対する適切な不確実性ターゲットを孤立応答からではなく繰り返しモデル出力から推定する。
しかし、グループロールアウトだけでは不十分である。
既存のターゲットはこの要件を部分的に満たしているだけである。
本稿では,SAGE, Semantic-Answer Guided Entropyを提案する。
SAGEは、スムーズでスケールを保ったキャリブレーション信号を維持しながら、分類的、数値的、象徴的な解の区別を保っている。
GUPO(Group-Uncertainity Preference Optimization, GUPO)は、言語不確実性表現をフル応答ではなく監視する不確実性学習フレームワークである。
事実、数学的、多重選択推論タスクにわたる実験では、不確実性ランキングの改善、キャリブレーションエラーの低減、自信の低下が示されている。
関連論文リスト
- Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis [57.78407973423517]
我々は、モデルが人間の不一致を反映した不確実性を表現しながら予測する不確実性を考慮した主観性分析を提唱する。
この視点を運用するために,二相認識と不確実性アライメントの枠組みを提案する。
3つの主観的分析課題の実験は、DPUAが人間の不一致とモデルの不確実性をよりよく整合させながら、タスク性能を保っていることを示している。
論文 参考訳(メタデータ) (2026-05-11T11:52:58Z) - Sensitivity Uncertainty Alignment in Large Language Models [0.0]
逆入力およびあいまい入力下での大規模言語モデルの故障を解析するためのフレームワークを提案する。
我々はスカラースコア SUA_theta(x) を定義し、分布感度と予測エントロピーの差を捉える。
我々は,一貫性の正則化とエントロピーアライメントを組み合わせたトレーニング手法SUA-TRと,より安全な推論のための禁制ルールを導入する。
論文 参考訳(メタデータ) (2026-04-21T17:53:12Z) - Improving Semantic Uncertainty Quantification in Language Model Question-Answering via Token-Level Temperature Scaling [55.29156356409814]
現状のアプローチ,特に温度の固定化は,系統的に誤校正され,識別性に欠けるセマンティックな信頼性分布を生じさせることを示す。
一つの温度を最適化することは、適切な帰納バイアスをもたらすと我々は主張するが、驚くほど単純だが効果的な解であることを示した。
論文 参考訳(メタデータ) (2026-04-08T15:00:32Z) - Entropy Alone is Insufficient for Safe Selective Prediction in LLMs [20.664633053172327]
選択予測システムは、高リスクケースでの回答を控えることで、言語モデル幻覚による害を軽減することができる。
不確実性定量化技術はしばしばそのようなケースを特定するために用いられるが、より広い選択的予測ポリシーの文脈で評価されることはほとんどない。
エントロピーに基づく不確実性手法のモデル依存的故障モードを同定し、エントロピースコアと正当性プローブ信号を組み合わせることで、信頼できない禁忌行動に対処する。
論文 参考訳(メタデータ) (2026-03-22T11:27:13Z) - Calibrating Uncertainty for Zero-Shot Adversarial CLIP [33.707647228637114]
予測精度と不確実性アライメントの両方を考慮した,CLIPの新たな逆調整目標を提案する。
我々の目的は、これらの分布を摂動の下で均等に整列させ、シングルログのアンカーを超えて不確実性を回復することである。
論文 参考訳(メタデータ) (2025-12-15T05:41:08Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳(メタデータ) (2025-12-01T11:27:09Z) - Teaching Language Models to Faithfully Express their Uncertainty [8.022069644392786]
大きな言語モデル(LLM)は、しばしば不確実性を誤解する。
本稿では,FUT(Fithful Uncertainity Tuning)を導入し,不確かさを忠実に表現する指導用LLMを指導する。
論文 参考訳(メタデータ) (2025-10-14T14:42:40Z) - Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。
Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。
この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
論文 参考訳(メタデータ) (2025-10-07T14:46:12Z) - Measuring Language Model Hallucinations Through Distributional Correctness [7.106986689736826]
この問題を解決するために,新しい評価基準である分布補正スコア(DCS)を導入した。
DCSは、誤った回答における有害な過信と、棄権によって表される不確実性を区別し、解釈可能なデフォルト範囲でスコアを提供する。
DCSは、推測よりも真に不確実性を表現するモデルにインセンティブを与える、よりニュアンスで整列した評価パラダイムを提供する。
論文 参考訳(メタデータ) (2025-10-05T17:50:42Z) - SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。
我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。
我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
論文 参考訳(メタデータ) (2025-04-19T03:01:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。