論文の概要: Emergent Structure in the Marginal Attention Space of Language Models

• arxiv url: http://arxiv.org/abs/2610.03109v1
• Date: Fri, 02 Oct 2026 10:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.327262
• Title: Emergent Structure in the Marginal Attention Space of Language Models
• Title（参考訳）: 言語モデルにおけるマルジナルアテンション空間の創発的構造
• Abstract要約: 問合せ位置の辺縁化によるソフトマックス後の注目重みの構造について検討する。 トークンとヘッド軸に沿ってこの空間を減少させると、異なる性質が現れる。 トークン単位を減少させると、余分な注意がモデル間で頑健に保存されたテキスト本質的な信号をもたらす。
• 参考スコア（独自算出の注目度）: 29.06026489276149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While representation similarity across independently trained language models is well-documented, how internal mechanics such as attention behave across models remains far less characterized. Inspired by this gap, we examine the structure of post-softmax attention weights by marginalizing over query positions, mapping them into a joint token-head "marginal attention space". Evaluating across 60+ diverse LLMs, we find that different properties emerge when reducing this space along its token and head axes. When reduced token-wise, marginal attention yields a text-intrinsic signal robustly conserved across models. To explain this property, we empirically connect marginal attention to the input-output Jacobian of the network, and prove theoretically that under a smoothness assumption, models with similar next-token distributions are guaranteed to have similar input-output Jacobian statistics. When reduced head-wise, it forms a model-private signature conserved across documents. Practically, this provides a natural way to estimate a per-head budget for key-value (KV) cache eviction, effectively decoupling model-specific budget allocation from text-intrinsic token scoring. On standard eviction benchmarks, a per-head budget precomputed offline on pretraining text, combined with a training-free token score, shows competitive performance with methods that recompute the budget on every document or train it per target. Code available at https://github.com/Flegyas/marginal-attention
• Abstract（参考訳）: 独立に訓練された言語モデル間の表現的類似性は十分に文書化されているが、モデル間での注意などの内部力学の振る舞いは、はるかに少ないままである。 このギャップに触発されて,問合せ位置を疎外し,共同トークンヘッド「海中注意空間」にマッピングすることで,ソフトマックス後の注目重みの構造を検証した。 60以上の多種多様なLDMを評価すると、トークンとヘッド軸に沿ってこの空間を縮小する際に異なる性質が現れることが分かる。 トークン単位を減少させると、余分な注意がモデル間で頑健に保存されたテキスト本質的な信号をもたらす。 この性質を説明するために、ネットワークの入出力ヤコビアンに限界的注意を経験的に結び付け、スムーズな仮定の下では、同様の次トーケン分布を持つモデルは、同様の入出力ヤコビアン統計を持つことが保証されていることを理論的に証明する。 頭回りが小さくなると、文書間で保存されるモデルプライベートシグネチャを形成する。 実際にこれは、キーバリュー(KV)キャッシュ消去のためのヘッド単位の予算を推定する自然な方法を提供し、テキスト固有のトークンスコアリングからモデル固有の予算割り当てを効果的に分離する。 標準消去ベンチマークでは、事前訓練済みのテキストをオフラインで計算したヘッド単位の予算と、トレーニング不要のトークンスコアが組み合わさって、すべてのドキュメントの予算を再計算したり、ターゲットごとにトレーニングしたりする手法との競合性能を示す。 https://github.com/Flegyas/marginal-attention

関連論文リスト

• Single-Layer MeMo as a Randomized Hamming-Kernel Classifier [51.908606610432194]
  MeMoは最近の言語モデルアーキテクチャで、トークンコンテキストと次のトークンの関係を相関行列メモリに格納する。 理想的な検索規則は, 位置ハミングカーネルに基づくマルチクラス分類器であることを示す。 制限されたWikiText-2の次のタスクでは、単一層MeMoと古典的なベースラインを比較し、予測精度、メモリ、スループットのトレードオフとして有用なものであることを示す。
  論文  参考訳（メタデータ） (2026-09-28T08:16:06Z)
• Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
  Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。 既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。 本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:01:13Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction [42.92011330807996]
  $textitCTR-Sink$は、レコメンデーションシナリオに適した振る舞いレベルの注意シンクを導入した、新しいフレームワークである。 注意シンク理論にヒントを得て、注意集中シンクを構築し、外部情報を介して注意集約を動的に制御する。
  論文  参考訳（メタデータ） (2025-08-05T17:30:34Z)
• Saliency-driven Dynamic Token Pruning for Large Language Models [32.903622070917194]
  塩分駆動型動的トケンプルーニング(SDTP) 軽量なサリエンシ駆動予測モジュールは、各トークンの重要度をその隠れ状態で推定するように設計されている。 ランキングに基づく最適化手法を提案し,評価スコアと予測重要スコアのランキングばらつきを最小化する。
  論文  参考訳（メタデータ） (2025-04-06T15:15:07Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
  我々はSemantic Equitable Clustering(SEC)という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
  論文  参考訳（メタデータ） (2024-05-22T04:49:00Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。