論文の概要: High-Dimensional Learning Dynamics of Attention-Indexed Models
- arxiv url: http://arxiv.org/abs/2609.03858v1
- Date: Thu, 03 Sep 2026 13:49:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.093874
- Title: High-Dimensional Learning Dynamics of Attention-Indexed Models
- Title（参考訳）: 注意誘導モデルの高次元学習ダイナミクス
- Abstract要約: 本研究では,多層・多層アテンションアーキテクチャを表現可能な広範フレームワークであるアテンションインデクシングモデルについて検討する。
このフレームワークは、注意パラメータ化自体がアーキテクチャ上の暗黙のバイアスとして機能することを明らかにする。
事前アクティベーション平均は、最初に高速な時間スケールで進化し、オーバーラップは遅い時間スケールで進化する。
- 参考スコア（独自算出の注目度）: 33.042943026477595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attention mechanisms are central to modern foundation models, yet their training dynamics remain poorly understood, especially when the attention matrices have extensive rank. In this work, we study attention-indexed models, a broad framework that can represent multi-layer and multi-head attention architectures. First, we show that, in a suitable high-dimensional limit, the population-loss landscape is characterized by a finite set of trace order parameters. In contrast, online stochastic gradient descent (SGD) is governed by an infinite hierarchy of matrix moments, which we show can be exponentially well-approximated by a finite truncated system. Second, this framework reveals that attention parameterization itself can act as an architectural implicit bias. Direct optimization of an attention matrix $S\in\mathbb{R}^{d\times d}$ can remain trapped in an uninformative state. Tied attention ($S=WW^\top$) induces an automatic symmetry-breaking mechanism and yields weak recovery in $Θ(d^2\log d)$ samples. For untied attention, $S=UV^\top$, we uncover a fast-slow mechanism: the pre-activation mean first evolves on a fast timescale, while the overlaps evolve on a slower one. Weak recovery on the $Θ(d^2\log d)$ scale occurs when the state selected by the fast dynamics breaks the initial symmetry.
- Abstract（参考訳）: 注意機構は現代の基礎モデルの中心であるが、特に注意行列が広範囲にある場合、その訓練力学は理解されていない。
本研究では,多層および多層アテンションアーキテクチャを表現可能な広範フレームワークであるアテンションインデクシングモデルについて検討する。
まず、適切な高次元の極限において、人口損失のランドスケープは、トレースオーダーパラメータの有限セットによって特徴づけられることを示す。
対照的に、オンライン確率勾配降下(SGD)は、行列モーメントの無限階層によって制御され、有限トランキャット系によって指数関数的によく近似できることを示す。
第二に、このフレームワークは注意パラメータ化自体がアーキテクチャ上の暗黙のバイアスとして機能することを明らかにする。
注意行列 $S\in\mathbb{R}^{d\times d}$ の直接最適化は非形式状態に留まることができる。
タイド・アテンション(S=WW^\top$)は、自動的に対称性を破る機構を誘導し、$(d^2\log d)$サンプルで弱い回復をもたらす。
注意:$S=UV^\top$, wecover a fast-slow mechanism: the pre-activation mean first evolution on a fast timescale, while the overlaps evolve on a slow way。
d^2\log d)$スケール上の弱回復は、高速ダイナミクスによって選択された状態が初期対称性を破るときに起こる。
関連論文リスト
- Structured Adaptive Tensor Prediction for Streaming Data [12.618068868826512]
行列値時系列は、医療画像データの適応性など、幅広い応用に現れる。
既存の手法は主に静的な設定のために設計されており、ストリーミングや時間変化の環境がない。
行列-on-Matrix (MoM) と勾配-on-Matrix (ToM) を含む適応回帰フレームワークを開発する。
ToM は MoM よりも低い定常誤差とより強力なデノナイジング能力が得られることを示す。
論文 参考訳（メタデータ） (2026-06-08T19:09:58Z) - SparVAR: Exploring Sparsity in Visual AutoRegressive Modeling for Training-Free Acceleration [23.86429472943524]
本稿では,視覚的オートレグレッシブ・アテンションの3つの特性,すなわち強いアテンション・シンク,大規模アクティベーション類似性,局所性の3つの特性を利用する,トレーニング不要なアクティベーション・フレームワークを提案する。
具体的には、後続の高分解能尺度のスパースアテンションパターンをスパース決定尺度から動的に予測し、効率的なインデックスマッピング機構を用いて自己相似スパースアテンションを構築する。
提案手法は、ほぼすべての高周波の詳細を保存しながら、$mathbf1.57times$ Speed-upを実現する。
論文 参考訳（メタデータ） (2026-02-04T09:34:06Z) - Higher-order Linear Attention [59.92962330635185]
スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。
本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
論文 参考訳（メタデータ） (2025-10-31T07:54:37Z) - Dynamic Attention Mechanism in Spatiotemporal Memory Networks for Object Tracking [8.040709469401257]
本研究では,空間的注意重みを解析することにより,注意重みを適応的に調節する動的注意機構を提案する。
目標運動状態に基づいて計算資源を自律的に割り当てる軽量ゲーティングネットワークは、挑戦的なシナリオにおいて高い識別可能性の特徴を優先する。
論文 参考訳（メタデータ） (2025-03-21T00:48:31Z) - Flatter, faster: scaling momentum for optimal speedup of SGD [0.0]
ニューラルネットワークのトレーニングにおいて、勾配降下(SGD)とラベルノイズと運動量との相互作用から生じるトレーニングダイナミクスについて検討した。
運動量ハイパーパラメータ1-NISTbeta$を学習率で2/3$にスケーリングすると、一般化を犠牲にすることなく、最大で2/3$のトレーニングが加速することがわかった。
論文 参考訳（メタデータ） (2022-10-28T20:41:48Z) - Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline
Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。
我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文 参考訳（メタデータ） (2022-05-05T05:44:26Z) - Dynamic N:M Fine-grained Structured Sparse Attention Mechanism [21.74230717276263]
トランスフォーマーは、NLPやコンピュータビジョンといった様々なタスクのメインストリームのソリューションになりつつある。
その成功にもかかわらず、注意機構の複雑さは、レイテンシに敏感なタスクに適用されることを妨げる。
DFSSは,N:M微細構造パターンに注意行列を動的に呈示するアテンション機構である。
論文 参考訳（メタデータ） (2022-02-28T20:52:24Z) - Learning Dynamic Mechanisms in Unknown Environments: A Reinforcement Learning Approach [123.55983746427572]
本稿では,複数ラウンドの対話を通して動的ビックレー・クラーク・グローブ(VCG)機構を回復するための新しい学習アルゴリズムを提案する。
当社のアプローチの重要な貢献は、報酬のないオンライン強化学習(RL)を取り入れて、リッチな政策分野の探索を支援することである。
論文 参考訳（メタデータ） (2022-02-25T16:17:23Z) - Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。
具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。
そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
論文 参考訳（メタデータ） (2022-02-17T02:17:31Z) - DM-VIO: Delayed Marginalization Visual-Inertial Odometry [62.746533939737446]
本稿では,遅延残差化とポーズグラフバンドル調整に基づく視覚慣性システムDM-VIOを提案する。
我々は,EuRoC,TUM-VI,および4Seasonsデータセットを用いて,空飛ぶドローン,大規模ハンドヘルド,自動車シナリオからなるシステムの評価を行った。
論文 参考訳（メタデータ） (2022-01-11T18:30:37Z) - Continuous-time quantum walks in the presence of a quadratic
perturbation [55.41644538483948]
連続時間量子ウォークの特性を、$mathcalH=L + lambda L2$という形のハミルトン群で解決する。
低/高接続性および/または対称性を持つパラダイムモデルであるため、サイクル、完全、およびスターグラフを考える。
論文 参考訳（メタデータ） (2020-05-13T14:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。