論文の概要: Spilled Energy in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.18671v2
• Date: Wed, 25 Feb 2026 18:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 16:16:21.27824
• Title: Spilled Energy in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるスパイルエネルギー
• Authors: Adrian Robert Minut, Hazem Dewidar, Iacopo Masi,
• Abstract要約: 最終大言語モデル(LLM)ソフトマックス分類器をエネルギーベースモデル(EBM)として再解釈する。 この原則によって、デコード中の"エネルギー流出"を追跡できます。
• 参考スコア（独自算出の注目度）: 3.434649016649368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We reinterpret the final Large Language Model (LLM) softmax classifier as an Energy-Based Model (EBM), decomposing the sequence-to-sequence probability chain into multiple interacting EBMs at inference. This principled approach allows us to track "energy spills" during decoding, which we empirically show correlate with factual errors, biases, and failures. Similar to Orgad et al. (2025), our method localizes the exact answer token and subsequently tests for hallucinations. Crucially, however, we achieve this without requiring trained probe classifiers or activation ablations. Instead, we introduce two completely training-free metrics derived directly from output logits: spilled energy, which captures the discrepancy between energy values across consecutive generation steps that should theoretically match, and marginalized energy, which is measurable at a single step. Evaluated on nine benchmarks across state-of-the-art LLMs (including LLaMA, Mistral, and Gemma) and on synthetic algebraic operations (Qwen3), our approach demonstrates robust, competitive hallucination detection and cross-task generalization. Notably, these results hold for both pretrained and instruction-tuned variants without introducing any training overhead.
• Abstract（参考訳）: 我々は,最後のLarge Language Model (LLM) ソフトマックス分類器をエネルギーベースモデル (EBM) として再解釈し,シーケンスからシーケンスまでの確率連鎖を推論時に複数の相互作用するEMMに分解する。 この原則によって、デコード中の"エネルギー流出"を追跡できます。 Orgad et al (2025)と同様、本手法は正確な解答トークンを局所化し、幻覚検査を行う。 しかし、重要なことは、訓練されたプローブ分類器やアクティベーション・アブレーションを必要とせず、これを実現することである。 その代わりに、出力ロジットから直接引き起こされる完全にトレーニングなしの2つの指標、すなわち、理論的に一致すべき連続的な生成ステップ間のエネルギー値の相違を捉え、単一のステップで測定可能な限界化されたエネルギーを導入する。 現状のLLM(LLaMA,Mistral,Gemmaを含む)と合成代数演算(Qwen3)の9つのベンチマークから,本手法は頑健で競合的な幻覚の検出とクロスタスクの一般化を実証する。 特に、これらの結果はトレーニングのオーバーヘッドを伴わずに、事前訓練と命令調整の両方のバリエーションに当てはまる。

関連論文リスト

• A Diffusive Classification Loss for Learning Energy-based Generative Models [27.078167178968076]
  DiffCLF(Diffusive Classification, DiffCLF)は, 計算効率を保ちながら視力の低下を回避する簡易な手法である。 解析的ガウス混合の場合, 推定エネルギーを地中真理と比較することにより, DiffCLFの有効性を検証した。 以上の結果から,DiffCLFは既存手法よりも忠実度が高く,適用性も広いEMMを実現することが示唆された。
  論文  参考訳（メタデータ） (2026-01-28T20:37:53Z)
• Energy-Guided Flow Matching Enables Few-Step Conformer Generation and Ground-State Identification [45.52894539097255]
  本稿では,明示的な学習エネルギーモデルとフローマッチングを結合する統合フレームワークであるEnFlowを紹介する。 サンプリング中にエネルギー段階的な誘導を取り入れることで,低エネルギー領域への軌道を導出する。 さらに、学習したエネルギー関数は、生成したアンサンブルの効率的なエネルギーベースのランク付けを可能にし、正確な基底状態の同定を可能にする。
  論文  参考訳（メタデータ） (2025-12-27T14:00:22Z)
• Learning to Rank Chain-of-Thought: Using a Small Model [77.75522308463667]
  本稿では、この課題に対処するために設計された高効率で軽量な検証器であるEORM(Energy Outcome Reward Model)を紹介する。 EORMはエネルギーベースのフレームワークを使用してChain-of-Thought(CoT)ソリューションをランク付けし、単純な結果ラベルだけで誤った推論と正しく区別することを学ぶ。 55Mのパラメータだけで、通常の報酬モデルより127倍以上小さいEORMは、Llama 3 8Bの精度をGSM8kで90.7%、MATHで63.7%に向上させた。
  論文  参考訳（メタデータ） (2025-05-21T01:06:29Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• No Train Still Gain. Unleash Mathematical Reasoning of Large Language Models with Monte Carlo Tree Search Guided by Energy Function [3.0299876288833345]
  大きな言語モデル(LLM)は、印象的な言語理解と文脈学習能力を示している。 LLMは、解の確率が高いにもかかわらず、正しい推論ステップと答えを生成するのにしばしば苦労する。 モンテカルロ木探索 (MCTS) と軽量エネルギー関数を組み込んだ決定ステップのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2023-09-01T13:10:54Z)
• Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
  本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。 本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。 本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
  論文  参考訳（メタデータ） (2023-05-06T09:02:10Z)
• Dual Training of Energy-Based Models with Overparametrized Shallow Neural Networks [41.702175127106784]
  エネルギーベースモデル(英: Energy-based model、EBM)は、通常最大推定によって訓練される生成モデルである。 本稿では,データセットから引き出されたランダムなサンプルで粒子を再起動するEMMアルゴリズムの2つの定式化を提案し,その再起動が各ステップ毎にスコアに対応することを示す。 これらの結果は単純な数値実験で説明される。
  論文  参考訳（メタデータ） (2021-07-11T21:43:18Z)
• Joint Energy-based Model Training for Better Calibrated Natural Language Understanding Models [61.768082640087]
  自然言語理解タスクのための事前学習テキストエンコーダの微調整中に、共同エネルギーベースモデル(EBM)トレーニングを検討します。 実験では、EMMトレーニングはモデルが強力なベースラインに匹敵するより良いキャリブレーションに達するのに役立つことが示されています。
  論文  参考訳（メタデータ） (2021-01-18T01:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。