論文の概要: Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.12939v1
• Date: Fri, 09 Oct 2026 03:38:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.374521
• Title: Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
• Title（参考訳）: 活性化波を探索する:投機的復号のためのLLM隠れ状態の情報と幾何学の解析
• Abstract要約: 本稿では,情報性と多様性に基づく投機的復号化のための多層隠れ状態選択のための基本的フレームワークを提案する。 これらの知見に触発されて,高情報かつ最小限の冗長性を持つ隠れ状態集合を優先するエントロピーおよびCKAに基づく層選択アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 10.333388587017215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoder hidden states from different layers of large language models (LLMs) often encode complementary information. However, existing speculative decoding methods typically rely on a small set of target-model layers chosen using fixed, position-based heuristics. Selecting an optimal subset of layers is inherently a combinatorial problem, making exhaustive evaluation infeasible even for moderately deep models. In this work, we present a principled framework for multi-layer hidden-state selection for speculative decoding based on two complementary criteria: informativeness, measured through matrix-entropy analysis, and diversity, quantified using centered kernel alignment (CKA). We investigate layer-wise Shannon entropy, aggregate entropy under hidden-state concatenation, and pairwise CKA dynamics across depth, revealing distinct geometric and informational compartments within decoder representations. Motivated by these findings, we propose entropy and CKA-based layer selection algorithms that favor hidden-state sets that are both highly informative and minimally redundant. As part of this framework, we introduce token-entropy filtering, which removes hidden states associated with low predictive-entropy tokens, thereby improving the quality of layer-selection statistics. In EAGLE3-style speculative decoding, our selected sets outperform fixed baseline choices, including the default $[2, N//2, N-3]$ rule, while providing a clearer explanation of why some defaults can remain competitive. Our results provide a practical recipe for multi-layer hidden-state selection for speculative decoding, insights into the geometry and information in LLM decoder states, and a foundation for extending similar analysis to related applications.
• Abstract（参考訳）: デコーダは、大きな言語モデル(LLM)の異なる層から隠された状態にしばしば相補的な情報をエンコードする。 しかし、既存の投機的復号法は、固定された位置ベースのヒューリスティックを用いて選択された少数のターゲットモデル層に依存するのが一般的である。 レイヤの最適部分集合を選択することは、本質的には組合せ問題であり、適度に深いモデルであっても徹底的な評価が不可能である。 本研究では,行列-エントロピー解析による情報性,多様性,集中型カーネルアライメント(CKA)を用いた定量化という2つの相補的基準に基づいて,投機的復号のための多層隠れ状態選択のための基本的フレームワークを提案する。 本研究では, 層状シャノンエントロピー, 層状シャノンエントロピー, 層状エントロピー, 層状コントロピー, 対状CKAダイナミクスについて検討し, デコーダ表現の幾何学的, 情報的コンパートメントを明らかにした。 これらの知見に触発されて,高情報かつ最小限の冗長性を持つ隠れ状態集合を優先するエントロピーおよびCKAに基づく層選択アルゴリズムを提案する。 このフレームワークの一部として,低い予測エントロピートークンに関連する隠蔽状態を除去し,層選択統計の質を向上させるトークンエントロピーフィルタを導入する。 EAGLE3スタイルの投機的デコーディングでは、デフォルトの$[2, N//2, N-3]$ルールを含む固定ベースライン選択よりも優れています。 提案手法は, 投機的復号化のための多層隠れ状態選択法, LLM復号器状態の幾何と情報に対する洞察, 関連するアプリケーションに類似した解析を拡張するための基盤を提供する。

関連論文リスト

• Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
  我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。 密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-06-20T07:03:26Z)
• GESS: Multi-cue Guided Local Feature Learning via Geometric and Semantic Synergy [31.32050433924969]
  局所的な特徴の検出と記述はコンピュータビジョンの基本課題である。 既存の手法は1つの外観の手がかりをモデリングに頼っており、不安定なキーポイントとディスクリプタ識別性に欠ける。 本稿では,意味的および幾何学的手がかりを活用して,検出の堅牢性と記述者の識別性を高めるマルチキューガイド型局所特徴学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-07T02:57:26Z)
• Pruning Deep Convolutional Neural Network Using Conditional Mutual Information [10.302118493842647]
  畳み込みニューラルネットワーク(CNN)は、画像分類タスクにおいて高い性能を達成するが、リソース制限ハードウェアへのデプロイは困難である。 本稿では,各層における最も情報性の高い特徴を識別し,選択的に保持するCNNに対して,構造化されたフィルタ解析手法を提案する。
  論文  参考訳（メタデータ） (2024-11-27T18:23:59Z)
• KECOR: Kernel Coding Rate Maximization for Active 3D Object Detection [48.66703222700795]
  我々は、ラベルの取得に最も有用なポイントクラウドを特定するために、新しいカーネル戦略を利用する。 1段目(SECOND)と2段目(SECOND)の両方に対応するため、アノテーションに選択した境界ボックスの総数と検出性能のトレードオフをよく組み込んだ分類エントロピー接点を組み込んだ。 その結果,ボックスレベルのアノテーションのコストは約44%,計算時間は26%削減された。
  論文  参考訳（メタデータ） (2023-07-16T04:27:03Z)
• Feature Selection using Sparse Adaptive Bottleneck Centroid-Encoder [1.2487990897680423]
  2つ以上のクラスで識別される特徴を決定するために,新しい非線形モデル SABCE (Sparse Adaptive Bottleneckid-Encoder) を導入する。 このアルゴリズムは、高次元生物学的、画像、音声、加速度センサデータなど、様々な実世界のデータセットに適用される。
  論文  参考訳（メタデータ） (2023-06-07T21:37:21Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Adaptive Linear Span Network for Object Skeleton Detection [56.78705071830965]
  本研究では,適応線形スパンネットワーク(AdaLSN)を提案する。 AdaLSNは、精度とレイテンシのトレードオフを著しく高めることで、その汎用性を裏付ける。 また、エッジ検出や道路抽出といったイメージ・ツー・マスクのタスクに適用可能であることも示している。
  論文  参考訳（メタデータ） (2020-11-08T12:51:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。