論文の概要: Learning Uncertainty from Sequential Internal Dispersion in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.15741v1
• Date: Fri, 17 Apr 2026 06:31:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.767643
• Title: Learning Uncertainty from Sequential Internal Dispersion in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける逐次内部分散からの不確かさの学習
• Authors: Ponhvoan Srey, Xiaobao Wu, Cong-Duy Nguyen, Anh Tuan Luu,
• Abstract要約: 不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
• 参考スコア（独自算出の注目度）: 52.29267172760918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty estimation is a promising approach to detect hallucinations in large language models (LLMs). Recent approaches commonly depend on model internal states to estimate uncertainty. However, they suffer from strict assumptions on how hidden states should evolve across layers, and from information loss by solely focusing on last or mean tokens. To address these issues, we present Sequential Internal Variance Representation (SIVR), a supervised hallucination detection framework that leverages token-wise, layer-wise features derived from hidden states. SIVR adopts a more basic assumption that uncertainty manifests in the degree of dispersion or variance of internal representations across layers, rather than relying on specific assumptions, which makes the method model and task agnostic. It additionally aggregates the full sequence of per-token variance features, learning temporal patterns indicative of factual errors and thereby preventing information loss. Experimental results demonstrate SIVR consistently outperforms strong baselines. Most importantly, SIVR enjoys stronger generalisation and avoids relying on large training sets, highlighting the potential for practical deployment. Our code repository is available online at https://github.com/ponhvoan/internal-variance.
• Abstract（参考訳）: 不確実性推定は、大規模言語モデル(LLM)における幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 しかし、レイヤ間で隠れた状態がどのように進化すべきかという厳格な仮定や、最後のトークンや平均トークンにのみフォーカスすることで情報損失に悩まされる。 これらの問題に対処するために、隠れ状態から派生したトークン・ワイド・レイヤ・ワイドな特徴を利用する教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。 SIVRは、特定の仮定に頼るのではなく、レイヤ間の内部表現の分散や分散の程度に不確実性が現れるという、より基本的な仮定を採用する。 さらに、トーケン毎の分散特徴の完全なシーケンスを集約し、事実的誤りを示す時間的パターンを学習し、情報損失を防止する。 実験の結果、SIVRは強いベースラインより一貫して優れていた。 最も重要なことは、SIVRはより強力な一般化を享受し、大規模なトレーニングセットに頼ることを避け、実用的なデプロイメントの可能性を強調していることだ。 私たちのコードリポジトリはhttps://github.com/ponhvoan/internal-variance.comで公開されています。

関連論文リスト

• CUPID: A Plug-in Framework for Joint Aleatoric and Epistemic Uncertainty Estimation with a Single Model [1.6855257501750571]
  CUPID (Comprehensive Uncertainty Plug-in estImation moDel) は、ベースモデルの変更や再訓練なしに、動脈とてんかんの不確実性を共同で推定する汎用モジュールである。 CUPIDは分類,回帰,アウト・オブ・ディストリビューション検出など,様々なタスクで評価される。 その結果、CUPIDは、不確実性の起源に関する階層的な洞察を提供しながら、一貫して競争性能を提供することがわかった。
  論文  参考訳（メタデータ） (2026-03-11T13:18:10Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Anomalous Decision Discovery using Inverse Reinforcement Learning [3.3675535571071746]
  異常検出は、知覚システムを通じて異常な行動を特定することによって、自律走行車(AV)において重要な役割を果たす。 現在のアプローチは、しばしば定義済みのしきい値や教師付き学習パラダイムに依存するが、目に見えないシナリオに直面すると効果が低下する。 異常検出のための新しいIRLフレームワークである Trajectory-Reward Guided Adaptive Pre-training (TRAP) を提案する。
  論文  参考訳（メタデータ） (2025-07-06T17:01:02Z)
• Are vision language models robust to uncertain inputs? [5.249651874118556]
  より新しい視覚言語モデルでは、従来のモデルに比べて頑健性が向上したが、それでも厳密な指示に従う傾向にあることを示す。 ImageNetのような自然なイメージでは、パイプラインの変更なしにこの制限を克服することができる。 モデルの内部不確実性を明らかにするために,キャプションの多様性に基づく新しいメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-17T03:16:49Z)
• Generalization vs. Specialization under Concept Shift [12.196508752999797]
  我々は、概念シフトの下で尾根回帰を分析する。 熱力学限界における予測リスクの正確な表現を導出する。 我々のMNISTとFashionMNISTに関する実験は、この興味深い挙動が分類問題にも存在することを示唆している。
  論文  参考訳（メタデータ） (2024-09-23T22:30:28Z)
• On Uncertainty in Deep State Space Models for Model-Based Reinforcement Learning [21.63642325390798]
  RSSMは最適下推定方式を用いており、この推定を用いて訓練されたモデルは、基底真理系のアレター的不確かさを過大評価していることを示す。 そこで本稿では,変分リカレントカルマンネットワーク(VRKN)と呼ばれる,アレタリックおよびてんかんの不確かさをモデル化するための,よく理解されたコンポーネントに基づく代替手法を提案する。 実験の結果,RSSMの代わりにVRKNを用いることで,アレータリック不確実性を適切に把握するタスクのパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-17T16:59:48Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。