論文の概要: Entropy and Attention Dynamics in Small Language Models: A Trace-Level Structural Analysis on the TruthfulQA Benchmark

• arxiv url: http://arxiv.org/abs/2604.03589v1
• Date: Sat, 04 Apr 2026 04:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.657883
• Title: Entropy and Attention Dynamics in Small Language Models: A Trace-Level Structural Analysis on the TruthfulQA Benchmark
• Title（参考訳）: 小言語モデルにおけるエントロピーと注意ダイナミクス:TrthfulQAベンチマークに基づくトレースレベル構造解析
• Authors: Adeyemi Adeseye, Aisvarya Adeseye, Hannu Tenhunen, Jouni Isoaho,
• Abstract要約: 小型言語モデル(SLM)は、エッジデバイスや他のリソース制約のある設定に徐々にデプロイされている。 現在の評価手法は、内部モデルの振る舞いが出力にどのように影響するかを説明することなく、最終的な精度や幻覚率に依存している。 本研究では,TruthfulQAデータセットを用いて評価したSLMにおけるエントロピーとアテンションダイナミクスのトレースレベル解析を紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small language models (SLMs) have been increasingly deployed in edge devices and other resource-constrained settings. However, these models make confident mispredictions and produce unstable output, making them risky for factual and decision-critical tasks. Current evaluation methodology relies on final accuracy or hallucination rates without explaining how internal model behavior affects outputs. Specifically, how entropy evolves during decoding, how attention is distributed across layers, and how hidden representations contribute to uncertainty, logical inconsistencies, and misinformation propagation are often overlooked. Consequently, this study introduces a trace-level analysis of entropy and attention dynamics in SLMs evaluated with the TruthfulQA dataset. Four models with parameter ranges of 1B-1.7B parameters were examined via token-level output entropy, attention entropy, head dispersion, and hidden-state representation. The results reflect three model classifications by entropy patterns. Deterministic models (DeepSeek-1.5B and LLaMA-1B): output entropy decreases over time. Exploratory models (Gemma-1B): with increasing entropy, and balanced models (Qwen-1.7B): have moderate and stable entropy. Also, each group has distinctively different hidden-state movement and attention dispersion patterns. The analysis demonstrates that truthfulness in SLMs emerges from structured entropy and attention dynamics. Monitoring and optimizing these internal uncertainty patterns can guide the design of a more reliable, hallucination-aware, and application-specific edge SLMs.
• Abstract（参考訳）: 小型言語モデル(SLM)は、エッジデバイスや他のリソース制約のある設定に徐々にデプロイされている。 しかし、これらのモデルは確実な誤った予測を行い、不安定なアウトプットを生成し、事実および決定クリティカルなタスクに対して危険をもたらす。 現在の評価手法は、内部モデルの振る舞いが出力にどのように影響するかを説明することなく、最終的な精度や幻覚率に依存している。 具体的には、デコード中にエントロピーがどのように進化するか、レイヤー間での注意の分散、隠された表現が不確実性、論理的不整合、誤情報伝播にどのように寄与するかがしばしば見過ごされる。 そこで本研究では,TruthfulQAデータセットを用いて評価したSLMにおけるエントロピーとアテンションダイナミクスのトレースレベル解析を提案する。 1B-1.7Bパラメータのパラメータ範囲を持つ4つのモデルについて,トークンレベルの出力エントロピー,注意エントロピー,頭部分散,隠れ状態表現を用いて検討した。 結果はエントロピーパターンによる3つのモデル分類を反映している。 決定論的モデル (DeepSeek-1.5B と LLaMA-1B): 出力エントロピーは時間とともに減少する。 探索モデル(Gemma-1B):エントロピーが増大し、バランスの取れたモデル(Qwen-1.7B):適度で安定したエントロピーを持つ。 また,各群は異なる隠れ状態運動と注意分散パターンを有する。 この分析は、SLMの真理性は構造エントロピーと注意力学から生じることを示した。 これらの内部不確実性パターンの監視と最適化は、より信頼性が高く、幻覚を意識し、アプリケーション固有のエッジSLMの設計を導くことができる。

関連論文リスト

• Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory [0.0]
  この論文は、現代のディープラーニング、信頼性、効率性において、永続的で密接に関連する2つの課題に対処する。 層と入力間の隠れアクティベーションの固有値ダイナミクスを解析することにより、スペクトル統計学がモデル挙動にコンパクトで安定で解釈可能なレンズを提供することを示す。 このフレームワーク内では、最初のコントリビューションであるEigenTrackが、大規模言語と視覚言語モデルにおける幻覚とアウト・オブ・ディストリビューションの振る舞いをリアルタイムに検出する手法を導入した。 第二の貢献である RMT-KD は、ランダム行列理論知識蒸留によるディープネットワークの圧縮に対する原則的なアプローチを示す。
  論文  参考訳（メタデータ） (2026-02-25T19:11:56Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• EDIS: Diagnosing LLM Reasoning via Entropy Dynamics [3.858418431840288]
  生成過程における信頼の時空間的進化は,集計統計単独よりも豊かな情報をもたらすことを示す。 本稿では,エントロピー進化における不安定性を定量化するための軌道レベルの指標であるエントロピーダイナミクス不安定スコア(textbfEDIS)を紹介する。
  論文  参考訳（メタデータ） (2026-02-01T15:43:50Z)
• Which Layer Causes Distribution Deviation? Entropy-Guided Adaptive Pruning for Diffusion and Flow Models [77.55829017952728]
  EntPrunerは、拡散およびフローモデルのためのエントロピー誘導自動プログレッシブプルーニングフレームワークである。 DiTモデルとSiTモデルの実験はEntPrunerの有効性を示し、最大2.22$times$推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-11-26T07:20:48Z)
• Entropy-Based Block Pruning for Efficient Large Language Models [81.18339597023187]
  性能を維持しつつ効率を向上するエントロピー型プルーニング戦略を提案する。 経験的分析により、隠れ表現のエントロピーは初期ブロックでは減少するが、その後のほとんどのブロックでは徐々に増加することが明らかとなった。
  論文  参考訳（メタデータ） (2025-04-04T03:42:34Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Quantifying Semantic Emergence in Language Models [31.608080868988825]
  大規模言語モデル (LLM) は意味論的意味を捉える特別な能力として広く認識されている。 本研究では,入力トークンから意味を抽出するLLMの能力を測定するために,量的指標である情報創発(IE)を導入する。
  論文  参考訳（メタデータ） (2024-05-21T09:12:20Z)
• Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive Models [2.7391842773173334]
  我々は,時間変化パラメータと時間不変パラメータの両方を復元できるベイズ推論のシミュレーションに基づくディープラーニング手法を開発した。 この結果から,ディープラーニングアプローチは時間的ダイナミクスを捉える上で極めて効率的であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-23T17:42:53Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。