論文の概要: First-Token Attraction in Mamba Dynamics

• arxiv url: http://arxiv.org/abs/2611.08303v1
• Date: Thu, 05 Nov 2026 17:06:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.589702
• Title: First-Token Attraction in Mamba Dynamics
• Title（参考訳）: マンバダイナミクスにおけるファーストトケイントラクション
• Abstract要約: マンバ力学は正の正定性や定性保証のない完全な行列値の相互作用係数を含む。 本稿では,高次元不変ボックスと急激な終了時間引数に基づく新しい分析フレームワークを提案する。 分析の結果,最初のトークンは,トークンクラスタリングや注目シンク現象を誘発する,特権的ダイナミクスを持つことが明らかとなった。
• 参考スコア（独自算出の注目度）: 15.437438357205282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study token dynamics in deep Mamba models, with a particular focus on the attracting role of the first token. Unlike attention mechanisms, where token interactions are governed by positive scalar coefficients, Mamba dynamics involve full matrix-valued interaction coefficients with no positivity or definiteness guarantees. This structural difference makes Mamba dynamics substantially harder to analyze and prevents the direct application of existing techniques for attention-based models. To overcome this challenge, we introduce a new analytical framework based on a high-dimensional invariant box and a sharp exit-time argument, which together recover an effective form of sign-definiteness. Using this framework, we characterize the possible limit points of token trajectories and prove explicit exponential convergence rates. Our analysis reveals that the first token has privileged dynamics: its limiting direction attracts subsequent tokens, inducing token clustering and attention-sink phenomena in deep Mamba models. We further show that this attraction mechanism extends to broader sequence dynamics, including state-space models, causal attention, and classical time-series models. Experiments on Falcon-Mamba-7B validate our predictions, showing that concentration on the first token increases with depth and dominates in later layers.
• Abstract（参考訳）: 深層マンバモデルにおけるトークンダイナミクスについて検討し、第一のトークンの役割を引き付けることに特に焦点をあてる。 トークン相互作用が正のスカラー係数によって支配される注意機構とは異なり、マンバ力学は正の値や定性保証のない完全な行列値の相互作用係数を含む。 この構造的な違いにより、マンバの力学は分析が難しくなり、注意に基づくモデルに既存の技術を直接適用するのを防ぐことができる。 この課題を克服するため、我々は高次元不変箱と鋭い終了時間引数に基づく新しい分析フレームワークを導入し、有効形の符号定性を取り戻す。 この枠組みを用いてトークントラジェクトリの可能な極限点を特徴づけ、明示的な指数収束率を証明する。 我々の分析によると、最初のトークンは特権的ダイナミクスを持ち、その制限方向はその後のトークンを引き寄せ、深層マンバモデルにおけるトークンクラスタリングと注目シンク現象を誘導する。 さらに、このアトラクション機構は、状態空間モデル、因果的注意、古典的時系列モデルを含む、より広範なシーケンスダイナミクスにまで拡張されていることを示す。 ファルコン・マンバ7Bの実験では、第1のトークンの濃度が深さとともに上昇し、後続の層で支配的であることが示されている。

関連論文リスト

• Beyond Entropy: Self-Diagnostic Multi-Role Token Optimization for Video Reasoning [82.12877400975769]
  我々は、信頼性の高いトークン選択と適応的な対実的介入を共同で最適化する、共進化的フレームワークであるDyCPOを紹介する。 複雑なビデオ推論と一般的なビデオ理解ベンチマークの実験は、一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2026-10-02T14:48:40Z)
• TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds [17.505701673051405]
  TokenFormerは、以下のイノベーションを取り入れた統合されたレコメンデーションアーキテクチャである。 まず,ボトムフルト・トップ・スライディング(BFTS:Bottom-Full-Top-Sliding)アテンションスキームを導入する。 第2に,非線形相互作用表現(NLIR)を導入し,一方の非線形乗算変換を隠れ状態に適用する。
  論文  参考訳（メタデータ） (2026-04-15T11:25:46Z)
• Mamba Can Learn Low-Dimensional Targets In-Context via Test-Time Feature Learning [53.983686308399676]
  Mambaは、強い経験的性能を持つ線形時間列モデルである。 単一インデックスモデル $y approx g_* (langle boldsymbolbeta, boldsymbolx rangle)$ の文脈内学習について検討する。 勾配に基づく手法で事前学習したMambaは,テスト時間特徴学習によって効率的なICLを実現することができることを示す。
  論文  参考訳（メタデータ） (2025-10-14T00:21:20Z)
• Active-Dormant Attention Heads: Mechanistically Demystifying Extreme-Token Phenomena in LLMs [77.66717051042032]
  実践者は変圧器に基づく大言語モデルにおいて、3つのパズリング現象を一貫して観察してきた。 これらの現象は、ある種のいわゆる「シンクトークン」が不当に高い注意重みを負っているのが特徴である。 極端トーケン現象のメカニズムを解明する。
  論文  参考訳（メタデータ） (2024-10-17T17:54:06Z)
• Demystifying the Token Dynamics of Deep Selective State Space Models [3.829322478948515]
  SSM(Selective State Space Model)は、シーケンシャルなデータモデリングの有効性で有名になった。 その卓越した経験的性能にもかかわらず、深い選択性SSMに関する包括的な理論的理解はいまだ解明されていない。 本稿では,事前学習したマンバモデルにおけるトークンの動的特性について検討する。
  論文  参考訳（メタデータ） (2024-10-04T10:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。