論文の概要: U-Space: Uncovering When and Why Uncertainty Arises in Language Models

• arxiv url: http://arxiv.org/abs/2610.09087v1
• Date: Tue, 06 Oct 2026 20:40:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.59924
• Title: U-Space: Uncovering When and Why Uncertainty Arises in Language Models
• Title（参考訳）: U-Space: 言語モデルにおける不確実性の発生時期と原因を明らかにする
• Abstract要約: 不確実性は、個々の予測の信頼性を見積もることで、断線に対処しようとする。 既存の方法は、繰り返し世代または別々に訓練されたコンポーネントを必要とする。 機械的解釈可能性(Mechanistic Interpretability)は、これらの制限に対処する方法を提供する。
• 参考スコア（独自算出の注目度）: 48.66130361282914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are informing decisions with ever-higher stakes. As the consequences of their errors grow, a central question becomes harder to ignore: how much can we trust an individual answer? Yet recognizing when to defer remains difficult because language models can present incorrect conclusions with fluent explanations and an authoritative tone. Uncertainty quantification seeks to address this disconnect by estimating the reliability of individual predictions. However, many existing methods require repeated generations or separately trained components, and their scalar estimates do not reveal where uncertainty arises or how it evolves during reasoning. Recent work has also shown that generation length can be strongly associated with uncertainty estimates and correctness, raising the question of how much of an estimator's predictive power comes from uncertainty-specific information rather than output length alone. Mechanistic interpretability offers a way to address these limitations by connecting human-interpretable concepts to intermediate model states. Building on this capability, we introduce the U-Space, a low-dimensional subspace that makes a model's evolving uncertainty measurable and interpretable. We identify semantic anchors for doubt and certainty, map their unembedding directions back into the residual space, and combine their contrasts into an orthogonal basis. The U-Lens projects each token state onto these basis vectors, yielding an interpretable token-level uncertainty map that can be inspected directly or aggregated into a scalar uncertainty score. Our approach requires no correctness labels, repeated generations, or training. Across reasoning benchmarks, its confidence score outperforms established baselines under both standard and length-controlled evaluation and transfers more reliably than supervised estimators. Code: https://github.com/s2labres/U-Space.
• Abstract（参考訳）: 大規模な言語モデルは、ずっと高い利害関係で決定を下している。 エラーの結果が大きくなるにつれて、中心的な疑問は無視しにくくなります。 しかし、言語モデルでは、流動的な説明と権威的なトーンで誤った結論を提示できるため、いつ延期するかの認識は難しいままである。 不確かさの定量化は、個々の予測の信頼性を推定することによって、この切断に対処しようとする。 しかし、既存の多くの手法は繰り返し世代や個別に訓練されたコンポーネントを必要としており、それらのスカラー推定は、不確実性の発生場所や、推論中にどのように進化するかを明らかにしない。 最近の研究は、生成長が不確実性の推定と正確性に強く関連していることも示しており、推定器の予測力のどれ程が出力長のみではなく不確実性固有の情報から来ているのかという疑問を提起している。 機械的解釈可能性(Mechanistic Interpretability)は、人間の解釈可能な概念を中間モデル状態に接続することで、これらの制限に対処する方法を提供する。 この能力に基づいて、モデルの進化する不確実性の測定と解釈を可能にする低次元部分空間であるU-Spaceを導入する。 疑念と確実性のセマンティックアンカーを特定し、不包含方向を残余空間にマッピングし、それらのコントラストを直交基底に組み合わせる。 U-レンスはそれぞれのトークン状態をこれらの基底ベクトルに投影し、解釈可能なトークンレベルの不確実性マップを生成し、直接検査したり、スカラーの不確実性スコアに集約することができる。 私たちのアプローチでは、正確性ラベル、繰り返し世代、トレーニングは必要ありません。 推論ベンチマーク全体では、信頼性スコアは標準および長さ制御評価の両方で確立されたベースラインよりも優れており、教師付き推定値よりも確実に転送される。 コード:https://github.com/s2labres/U-Space

関連論文リスト

• CoMet: Context and Multiplicity Decomposition for Multimodal Uncertainty Estimation [45.629365817272536]
  不確実性推定は、AIモデルにおける長年にわたる課題である。 本研究では,不確実性を文脈固有項と乗法固有項に分解したMLLM不確実性推定手法であるCoMetを提案する。 我々は,これらの量を評価するために軽量なポストホック不確実性モジュールを訓練し,自動回帰応答生成や繰り返しサンプリングを行うことなく,効率的な不確実性推定を可能にする。
  論文  参考訳（メタデータ） (2026-06-30T17:46:09Z)
• Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition [22.644661427062726]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の解釈可能な概念によって予測される。 CBMは典型的に、てんかんの不確実性とアレタリック不確実性を説明する点概念の確率を出力する。 我々は,概念の不確実性を構築によって分解するフレームワークであるCREDENCEを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T08:27:50Z)
• Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty [19.65441892575154]
  UA-Benchは、知識集約型タスクと推論集約型タスクにまたがる6つのデータセットから抽出された3500以上の質問のベンチマークである。 18のフロンティアLCMの評価は、最先端のモデルでさえ、データの不確実性とモデルの不確実性を確実に識別するのに苦労していることを示している。 思考モードにおけるQwen3-4B-Instruct-2507とQwen3-8Bの両方の実験結果から,提案手法は解答精度を保ちながら不確実性が向上することが示された。
  論文  参考訳（メタデータ） (2026-04-19T07:15:23Z)
• Uncertainty Distillation: Teaching Language Models to Express Semantic Confidence [16.311538811237536]
  大規模言語モデル (LLM) は、事実質問に対する回答にますます使われている。 これらの不確実性の言葉化表現が意味を持つためには、表現された信頼度レベルでエラー率を反映すべきである。 そこで本研究では,LLMにセマンティック信頼度を校正する簡単な方法である不確かさ蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-03-18T21:29:29Z)
• Probabilistic Modeling of Disparity Uncertainty for Robust and Efficient Stereo Matching [61.73532883992135]
  本稿では,新しい不確実性を考慮したステレオマッチングフレームワークを提案する。 我々はベイズリスクを不確実性の測定として採用し、データを別々に見積もり、不確実性をモデル化する。
  論文  参考訳（メタデータ） (2024-12-24T23:28:20Z)
• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)
• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。