論文の概要: Beyond Surface Statistics: Robust Conformal Prediction for LLMs via Internal Representations

• arxiv url: http://arxiv.org/abs/2604.16217v1
• Date: Fri, 17 Apr 2026 16:28:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:20.005392
• Title: Beyond Surface Statistics: Robust Conformal Prediction for LLMs via Internal Representations
• Title（参考訳）: 表面統計の超越:内部表現によるLCMのロバストな等角予測
• Authors: Yanli Wang, Peng Kuang, Xiaoyu Han, Kaidi Xu, Haohan Wang,
• Abstract要約: 本稿では,内部表現を用いた質問応答のためのコンフォメーション・フレームワークを提案する。 本手法は,強いテキストレベルベースラインよりも高い妥当性-効率トレードオフを実現する。 これらの結果から,内部表現は分布シフトの下で表面レベルの不確かさが不安定である場合に,より情報的な整合性スコアを与える可能性が示唆された。
• 参考スコア（独自算出の注目度）: 36.24681446361556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly deployed in settings where reliability matters, yet output-level uncertainty signals such as token probabilities, entropy, and self-consistency can become brittle under calibration--deployment mismatch. Conformal prediction provides finite-sample validity under exchangeability, but its practical usefulness depends on the quality of the nonconformity score. We propose a conformal framework for LLM question answering that uses internal representations rather than output-facing statistics: specifically, we introduce Layer-Wise Information (LI) scores, which measure how conditioning on the input reshapes predictive entropy across model depth, and use them as nonconformity scores within a standard split conformal pipeline. Across closed-ended and open-domain QA benchmarks, with the clearest gains under cross-domain shift, our method achieves a better validity--efficiency trade-off than strong text-level baselines while maintaining competitive in-domain reliability at the same nominal risk level. These results suggest that internal representations can provide more informative conformal scores when surface-level uncertainty is unstable under distribution shift.
• Abstract（参考訳）: 大規模言語モデルは、信頼性が問題となる状況において、ますます多くデプロイされているが、トークン確率、エントロピー、自己整合性といった出力レベルの不確実性信号は、キャリブレーションのミスマッチの下で不安定になる可能性がある。 整形予測は交換性の下で有限サンプルの妥当性を提供するが、その実用性は非整形性スコアの品質に依存する。 本稿では,LLM質問応答のためのコンフォメーション・フレームワークを提案する。特に,モデル深度をまたいだ入力再応答の条件付けが,モデル深度の予測エントロピーをどのように計測するかを計測し,標準分割コンフォメーション・パイプライン内での非整合性スコアとして利用するレイヤワイズ・インフォメーション(LI)スコアを導入する。 クロスドメインシフトにおいて最も顕著な利得を有するクローズドエンドおよびオープンドメインQAベンチマークでは、同じ名目リスクレベルでドメイン内の競合信頼性を維持しつつ、強いテキストレベルベースラインよりも高い妥当性-効率トレードオフを実現する。 これらの結果から,内部表現は分布シフトの下で表面レベルの不確かさが不安定である場合に,より情報的な整合性スコアを与える可能性が示唆された。

関連論文リスト

• When Stability Fails: Hidden Failure Modes Of LLMS in Data-Constrained Scientific Decision-Making [0.0]
  大規模言語モデル(LLM)は、データ制約された科学的作業フローにおける意思決定支援ツールとして、ますます使われてきている。 LLM意思決定の4次元を明示的に分離する制御された行動評価フレームワークを提案する。 統計的基盤真理から分岐しながら, LLM がほぼ完全なラン・ツー・ラン安定性を示すことを示す。
  論文  参考訳（メタデータ） (2026-03-16T19:17:09Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
  LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。 本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
  論文  参考訳（メタデータ） (2025-08-11T16:12:36Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction [0.0]
  動的しきい値キャリブレーションとクロスモーダル整合性検証を統合したモデル非依存不確実性定量化法を提案する。 このフレームワークは、様々なキャリブレーションとテストの分割比で安定したパフォーマンスを実現し、医療、自律システム、その他の安全に敏感な領域における現実的な展開の堅牢性を強調している。 この研究は、マルチモーダルAIシステムにおける理論的信頼性と実用性の間のギャップを埋め、幻覚検出と不確実性を考慮した意思決定のためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-24T15:39:46Z)
• SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
  SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
  論文  参考訳（メタデータ） (2025-04-19T03:01:45Z)
• Rectifying Conformity Scores for Better Conditional Coverage [75.73184036344908]
  本稿では,分割共形予測フレームワーク内で信頼セットを生成する新しい手法を提案する。 本手法は,任意の適合度スコアのトレーニング可能な変換を行い,条件付き範囲を正確に確保しつつ,条件付き範囲を改善する。
  論文  参考訳（メタデータ） (2025-02-22T19:54:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。