論文の概要: Integrating Local and Global Entropy for Uncertainty Quantification in LLMs

• arxiv url: http://arxiv.org/abs/2606.09875v1
• Date: Tue, 02 Jun 2026 20:57:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:57.985902
• Title: Integrating Local and Global Entropy for Uncertainty Quantification in LLMs
• Title（参考訳）: LLMにおける不確実性定量のための局所エントロピーと大域エントロピーの統合
• Authors: Johanne Medina, Tianyi Zhou, Keivin Isufaj, Aristides Gionis, Sanjay Chawla,
• Abstract要約: 隠れ状態の幾何エントロピー(グローバル不確実性)とトークンレベルのエントロピー(局所不確実性)は統計的にほぼ直交的であることを示す。 本稿では,GLU(Global-Local Uncertainty)を提案する。
• 参考スコア（独自算出の注目度）: 28.285388648427737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models hallucinate confidently, making uncertainty quantification (UQ) essential for reliable deployment. Existing methods rely predominantly on token-level signals, leaving the geometric structure of intermediate hidden states underused. In this paper, we take the geometric complexity of hidden-state matrices as a measure of the global uncertainty of LLMs, while treating token-level uncertainty estimation as a local metric. We show that hidden-state geometric entropy (global uncertainty) and token-level entropy (local uncertainty) are statistically near-orthogonal, capturing distinct failure regimes for reliability prediction. In particular, global geometry recovers the confident-but-wrong failure mode that local signals systematically miss. Building on this, we propose Global-Local Uncertainty (GLU), an unsupervised, single-pass score that fuses the two signals via a multiplicative gate. Across three model families and six benchmarks, GLU matches or outperforms all unsupervised baselines while requiring only a single forward pass and remaining length-normalized and architecture-agnostic.
• Abstract（参考訳）: 大規模言語モデルは自信を持って幻覚し、信頼性の高いデプロイメントには不確実な定量化(UQ)が不可欠である。 既存の方法はトークンレベルの信号に大きく依存しており、中間隠れ状態の幾何学的構造が過小評価されている。 本稿では, LLMのグローバル不確実性の尺度として, 隠れ状態行列の幾何学的複雑さを考察するとともに, トークンレベルの不確実性推定を局所計量として扱う。 本研究では,隠れ状態の幾何エントロピー(グローバル不確実性)とトークンレベルエントロピー(局所不確実性)が統計的にほぼ直交していることを示し,信頼性予測のための異なる障害機構を捉える。 特に、グローバルジオメトリは、局所的な信号が体系的に見逃す自信と怒りの失敗モードを回復する。 そこで我々はGlubal-Local Uncertainty (GLU)を提案する。 3つのモデルファミリと6つのベンチマークで、GLUはすべての教師なしベースラインをマッチまたは上回るが、1つのフォワードパスのみを必要とし、長さ正規化とアーキテクチャに依存しない。

関連論文リスト

• Genuine Multipartite Nonlocality for Arbitrary Input: Maximal Randomness Generation and Robust Self-Testing [0.0]
  任意のm-パーティイトシナリオにおいて、真のマルチパーティライト非局所性(GMNL)を識別できるベル不等式を導入する。 本研究では,最適量子違反における最大大域的DIランダム性(mビット)の抽出を可能にする。
  論文  参考訳（メタデータ） (2026-06-09T14:45:31Z)
• Uncertainty-Aware Gaussian Map for Vision-Language Navigation [63.97713877754199]
  Vision-Language Navigation (VLN)は、自然言語の指示に従って3D環境をナビゲートするエージェントを必要とする。 本研究では,3種類の知覚的不確実性(幾何学的,意味的,外見的不確実性)を明示的にモデル化し,エージェントの観察空間に統合し,情報的意思決定を可能にする。
  論文  参考訳（メタデータ） (2026-05-26T03:33:47Z)
• Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering [8.56875523245176]
  不確かさの定量化は、大規模言語モデル(LLM)を高い領域に展開するための主要なセーフガードとして広く見なされている。 LLMの主流UQメソッドは、単に教師なしクラスタリングアルゴリズムである。
  論文  参考訳（メタデータ） (2026-05-19T00:47:02Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Adaptive Dual Uncertainty Optimization: Boosting Monocular 3D Object Detection under Test-Time Shifts [80.32933059529135]
  TTA(Test-Time Adaptation)メソッドが出現し、推論中にターゲット分布に適応する。 我々は、堅牢なM3ODの両不確実性を共同で最小化するために設計された、最初のTTAフレームワークであるDual Uncertainity Optimization (DUO)を提案する。 並列に,明瞭な意味的手がかりを持つ領域における幾何学的コヒーレンスを保存する意味認識型正規場制約を設計する。
  論文  参考訳（メタデータ） (2025-08-28T07:09:21Z)
• Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
  大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。 ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:42:05Z)
• Many-body entropies and entanglement from polynomially-many local measurements [0.26388783516590225]
  すべての空間相関長が有限であるという仮定のもとに効率的な推定戦略が存在することを示す。 我々は,今日の量子プラットフォームで利用可能な多数の量子ビットに対して,二分位混合状態の絡み合いを検出するのに,本手法は実用的に有用であると主張している。
  論文  参考訳（メタデータ） (2023-11-14T12:13:15Z)
• Identifying quantum many-body integrability and chaos using eigenstates trace distances [0.05999777817331316]
  量子多体積分性とカオスの代替指標を提案する。 最寄りのサブシステムトレース距離による固有状態の統計に基づく。 これは、広範囲な数値シミュレーションを通じて、忠実な分類を提供することを示す。
  論文  参考訳（メタデータ） (2023-01-30T19:00:03Z)
• Global Convolutional Neural Processes [52.85558458799716]
  我々は,潜伏NPFにおけるSOTAログ類似化を実現するGloBal Convolutional Neural Process(GBCoNP)を構築する。 離散化された入力空間上の集合である大域的不確実性表現 p(z) を設計する。 学習した先行データは、1D、2D、新たに提案された時空間のCOVIDデータセットなど、さまざまなシナリオで分析される。
  論文  参考訳（メタデータ） (2021-09-02T03:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。