論文の概要: From Signals to Transfer: A Factorised Study of Probe-Based Uncertainty Estimation in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.27679v1
• Date: Fri, 26 Jun 2026 03:23:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.358591
• Title: From Signals to Transfer: A Factorised Study of Probe-Based Uncertainty Estimation in Large Language Models
• Title（参考訳）: 信号から伝達へ:大規模言語モデルにおけるプローブに基づく不確かさ推定の要因検討
• Abstract要約: 本稿では, 一致する条件下でのプローブベース不確実性推定(UE)について, 因子分析を行った。 この結果から,隠れ状態や注目特徴がドメイン内よりも優れていることが示唆された。 我々は、オープンエンドの事実生成に対して合理的に伝達するベンチマークベースの事前訓練プローブを訓練する。
• 参考スコア（独自算出の注目度）: 51.470637128942336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probe-based uncertainty estimation (UE) has emerged as a prominent approach to detect hallucinations in Large Language Models (LLMs) by learning uncertainty from internal model signals. Yet, recent methods vary simultaneously across feature design, training data construction, and evaluation setting, obscuring what actually drives performance. To address this issue, we propose a factorised study of probe-based UE under matched conditions. Our results show that raw hidden states and attention features are difficult to outperform in-domain. However, under distribution shift, structured and compressed features are more robust, suggesting that in-domain performance alone is insufficient to measure progress. Furthermore, prompting and label construction significantly affect probe behaviour. Building on these best-practice findings, we train benchmark-based pretrained probes that transfer reasonably well to open-ended factual generation, providing a stable off-the-shelf baseline. Our work encourages more deployment-oriented evaluation of probe-based uncertainty estimators. The code repository is available at https://github.com/ponhvoan/ProbeUE.
• Abstract（参考訳）: 内的モデル信号から不確かさを学習することにより,大規模言語モデル(LLM)における幻覚を検出するための顕著なアプローチとして,プローブに基づく不確実性推定(UE)が出現している。 しかし、最近の手法は、機能設計、トレーニングデータ構築、評価設定、実際にパフォーマンスを駆動しているものなど、同時に異なる。 この問題に対処するために,探索型UEの整合条件下での分解研究を提案する。 この結果から,隠れ状態や注目特徴がドメイン内よりも優れていることが示唆された。 しかし、分散シフトの下では、構造化および圧縮された機能はより堅牢であり、ドメイン内のパフォーマンスだけでは進捗を測るには不十分である。 さらに、プロンプトとラベルの構成はプローブの挙動に大きな影響を及ぼす。 これらのベストプラクティスに基づいて、我々はベンチマークベースの事前訓練プローブを訓練し、オープンエンドの事実生成に適切に移行し、安定したオフザシェルフベースラインを提供する。 我々の研究は、プローブベースの不確実性推定器のより展開指向の評価を奨励する。 コードリポジトリはhttps://github.com/ponhvoan/ProbeUE.comから入手できる。

関連論文リスト

• Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
  不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T06:31:29Z)
• Hidden Failures in Robustness: Why Supervised Uncertainty Quantification Needs Better Evaluation [40.069986955093526]
  近年の研究では、大規模言語モデルの隠れ状態には不確実性推定や幻覚検出に有用な信号が含まれていることが示されている。 しかし、既存の手法がどれほど堅牢か、どのプローブ設計が分布シフトの下で信頼性のある不確実性推定を提供するのかは、まだ不明である。 本研究では,モデル,タスク,OOD設定にまたがる教師付き不確実性プローブの体系的研究を行い,2000以上のプローブをトレーニングし,表現層,特徴型,トークン集約戦略を変化させる。
  論文  参考訳（メタデータ） (2026-04-13T16:11:33Z)
• Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals [13.89434979851652]
  大規模言語モデル(LLM)は、エラーが社会的、科学的、安全コストの高い領域にますます展開されている。 本稿では,出力の正確性を予測する単一パスモデル依存フレームワークであるStructure Confidenceを提案する。
  論文  参考訳（メタデータ） (2026-02-01T02:35:59Z)
• TIE: A Training-Inversion-Exclusion Framework for Visually Interpretable and Uncertainty-Guided Out-of-Distribution Detection [11.599035626374409]
  ディープニューラルネットワークは、入力がトレーニング経験外にあることを認識するのに苦労することが多い。 視覚的・不確実性誘導型異常検出のためのトレーニング--Inversion--Exclusion フレームワーク textbfTIE を提案する。
  論文  参考訳（メタデータ） (2025-11-28T22:06:01Z)
• Exploring Structural Degradation in Dense Representations for Self-supervised Learning [84.52554180480037]
  自己教師付き学習(SSL)における直感的な現象を観察する。 我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。 本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
  論文  参考訳（メタデータ） (2025-10-20T08:40:16Z)
• Does Unsupervised Domain Adaptation Improve the Robustness of Amortized Bayesian Inference? A Systematic Evaluation [3.4109073456116477]
  近年のロバストなアプローチでは、シミュレーションおよび観測データの埋め込み空間と一致するように、教師なし領域適応(UDA)が採用されている。 本研究では,領域間の要約空間の整合が,非モデル化現象や雑音の影響を効果的に緩和することを示した。 以上の結果から,UDAを用いてABIのロバスト性を高める際に,不特定型を慎重に検討することの必要性が示唆された。
  論文  参考訳（メタデータ） (2025-02-07T14:13:51Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。