論文の概要: Thermodynamic Signatures of Reasoning: Free-Energy and Spectral-Form-Factor Diagnostics for Hallucination Detection in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.19404v1
• Date: Wed, 17 Jun 2026 11:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.4443
• Title: Thermodynamic Signatures of Reasoning: Free-Energy and Spectral-Form-Factor Diagnostics for Hallucination Detection in Large Language Models
• Title（参考訳）: 推論の熱力学的シグナチャ:大規模言語モデルにおける幻覚検出のための自由エネルギーおよびスペクトルフォームファクター診断
• Authors: Salim Khazem,
• Abstract要約: 大規模言語モデル(LLM)における幻覚検出は展開クリティカルであり、近年の研究により、注目グラフラプラシアンのスペクトルが推論品質に関する強いシグナルを伝達していることが示されている。 本研究では,各層が注目するラプラシアンをハミルトニアンとして扱い,その熱力学的ポテンシャル分配関数,自由エネルギー,スペクトルエントロピー,熱容量をランダム行列理論(RMT)スペクトル形状因子とともに抽出するスペクトル記述子Fesを提案する。
• 参考スコア（独自算出の注目度）: 1.0152838128195467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucination detection in large language models (LLMs) is deployment-critical, and recent work shows that the spectrum of attention-derived graph Laplacians carries strong signal about reasoning quality. Prior spectral diagnostics, however, summarize the Laplacian spectrum by a handful of eigenvalues or hand-picked scalars, leaving most of its structure unused. We propose Free-Energy Signatures (Fes), a spectral descriptor that treats each layer's attention Laplacian as a Hamiltonian and extracts its thermodynamic potentials partition function, free energy, spectral entropy, heat capacity together with the random-matrix-theory (RMT) spectral form factor. We prove three results: (i)~Lipschitz stability of Fes under attention perturbation; (ii)~an expressiveness result showing that Fes enriches finite spectral summaries and approximates moment-derived spectral functionals under explicit regularity and grid-resolution assumptions; and (iii)~a finite-sample PAC bound on the AUROC of a training-free detector built from Fes. Empirically, across six open-weight LLMs and six benchmarks, a lightweight probe on Fes descriptors achieves the strongest aggregate AUROC among attention-spectral baselines, improving over LapEig by $+6.5$ AUROC points and over GoR-4 by $+2.4$ points on average, while requiring no update to the underlying LLM. In the fully unsupervised setting, an RMT-deviation score achieves mean AUROC $0.71$, providing a label-free but weaker detector. A complementary RMT analysis shows that correct generations exhibit more Wigner-Dyson like spectral statistics, whereas hallucinations exhibit more Poisson-like statistics. The anonymized code and config are provided in the supplementary material.
• Abstract（参考訳）: 大規模言語モデル(LLM)における幻覚検出は展開クリティカルであり、近年の研究により、注目グラフのスペクトルが推論品質に関する強いシグナルを伝達していることが示されている。 しかし、以前のスペクトル診断では、ラプラシアスペクトルを少数の固有値または手書きスカラーで要約し、ほとんどの構造は使われていない。 本研究では,各層が注目するラプラシアンをハミルトニアンとして扱い,その熱力学的ポテンシャル分配関数,自由エネルギー,スペクトルエントロピー,熱容量をランダム行列理論(RMT)スペクトル形状因子とともに抽出するスペクトル記述子Fesを提案する。 3つの結果を証明します。 (i)~注目摂動下におけるFesのLipschitz安定性 (ii)~Fesが有限スペクトル和を豊かにし、明確な正則性と格子分解性仮定の下でモーメント由来のスペクトル汎函数を近似する表現性結果。 (iii)–Fesから製造された無訓練検出器のAUROCに結合した有限サンプルPAC。 実験的に、6つのオープンウェイトLDMと6つのベンチマークで、Fesディスクリプタの軽量プローブは、注目スペクトルベースラインの中で最も強力な集合AUROCを達成し、LapEigを+6.5$AUROCポイント、GoR-4を+2.4$ポイント改善し、基礎となるLSMを更新する必要はない。 完全に教師なしの環境では、RTT偏差スコアは平均的なAUROC$0.71$を達成し、ラベルなしだが弱い検出器を提供する。 補完的なRTT分析では、正しい世代はスペクトル統計のようにウィグナー・ダイソンを示すが、幻覚はポアソンに似た統計を示す。 補助材料には匿名コードと設定が設けられている。

関連論文リスト

• Spectral Model eXplainer: a chemically-grounded explainability framework for spectral-based machine learning models [0.6487259764989486]
  本研究では、スペクトル分類器をエキスパートインフォームドスペクトルゾーンで説明する、ポストホックでグローバルなモデルに依存しないXAIフレームワークであるスペクトルモデルeXplainer(SMX)を紹介する。 SMXはPCAを介して各ゾーンを要約し、量子ベースの論理述語を定義し、摂動による関係を推定し、有向重み付きグラフでバッグワイズランキングを集計する。
  論文  参考訳（メタデータ） (2026-05-04T15:01:04Z)
• XANE(3): An E(3)-Equivariant Graph Neural Network for Accurate Prediction of XANES Spectra from Atomic Structures [5.177624503826816]
  XANE(3)は、原子構造から直接X線吸収近接端構造(XANES)を予測するための物理ベースのE(3)等変グラフニューラルネットワークである。 酸化鉄表面面の5,941FDMNESシミュレーションのデータセット上でモデルを評価し,テストセット上でのスペクトル平均2乗誤差を1.0×10-3$とした。
  論文  参考訳（メタデータ） (2026-04-13T23:42:14Z)
• Robust Graph Representation Learning via Adaptive Spectral Contrast [0.9558392439655014]
  高周波信号はヘテロフィリーの符号化には不可欠であるが、スペクトル集中摂動下では大きなばらつきを示す。 信頼性を考慮したスペクトルゲーティング機構により,このジレンマを解消するフレームワークであるASPECTを提案する。 ASPECTは9つのベンチマークのうち8つで新しい最先端のパフォーマンスを実現し、有意義な構造的ヘテロフィリを偶発的なノイズから効果的に分離する。
  論文  参考訳（メタデータ） (2026-04-02T10:38:00Z)
• On the Spectral Flattening of Quantized Embeddings [25.64641307046705]
  超低精度での大規模言語モデルの訓練は、離散量子化制約と言語データの本質的な重み付きスペクトル特性の相違に根ざした不安定性によって、決定的に阻害される。 この研究は、LLMのスペクトル感度を定量化するだけでなく、安定な低ビット最適化に必要な条件としてスペクトル忠実性を確立する。
  論文  参考訳（メタデータ） (2026-02-01T02:21:53Z)
• SpectrumFM: Redefining Spectrum Cognition via Foundation Modeling [65.65474629224558]
  本稿ではスペクトル認識のための新しいパラダイムを提供するスペクトルFMと呼ばれるスペクトル基盤モデルを提案する。 畳み込みニューラルネットワークを利用した革新的なスペクトルエンコーダを提案し、スペクトルデータにおける微細な局所信号構造と高レベルのグローバルな依存関係の両方を効果的に捕捉する。 2つの新しい自己教師型学習タスク、すなわちマスク付き再構成と次のスロット信号予測が、SpectrumFMの事前学習のために開発され、モデルがリッチで伝達可能な表現を学習できるようにする。
  論文  参考訳（メタデータ） (2025-08-02T14:40:50Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• Towards Ultimate NMR Resolution with Deep Learning [0.0]
  多次元NMR分光法では、実測分解能は、重なり合うピーク、熱ノイズ、スペクトルアーティファクトの背景に対する信号位置を識別し、正確に決定する能力として定義される。 最終的な解決を追求するために,各スペクトル点に確率を割り当てる統計的スペクトル表現であるピーク確率プレゼンテーション(P3$)を導入し,その位置で発生するピーク最大値の確率を示す。 スペクトルと$P3$の間のマッピングは、多次元NMRスペクトルを扱うように設計された物理に着想を得たディープラーニングニューラルネットワークアーキテクチャであるMR-Aiを用いて達成される。
  論文  参考訳（メタデータ） (2025-02-28T07:20:25Z)
• Unsupervised Spectral Unmixing For Telluric Correction Using A Neural Network Autoencoder [58.720142291102135]
  本研究では,HARPS-N線速度スペクトルから高精度の太陽スペクトルを抽出するニューラルネットワークオートエンコーダ手法を提案する。
  論文  参考訳（メタデータ） (2021-11-17T12:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。