論文の概要: Parallel Manifold Steering: Efficient Adaptation of Large Associative Memories via Residual Energy Shaping

• arxiv url: http://arxiv.org/abs/2606.24396v1
• Date: Tue, 23 Jun 2026 10:30:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.901035
• Title: Parallel Manifold Steering: Efficient Adaptation of Large Associative Memories via Residual Energy Shaping
• Title（参考訳）: 並列マニフォールドステアリング : 残留エネルギー整形による大規模連想記憶の適応
• Abstract要約: 大型トランスフォーマーモデルは連想記憶(DAM)として機能する 我々は,大域平衡を変化させたりシーケンス長を拡大したりすることなく,トランスフォーマーの有効エネルギー景観を変調する機構であるtextbfH-Resを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Transformer models function as Dense Associative Memories (DAMs), retrieving knowledge via high-dimensional attractor dynamics driven by the self-attention mechanism \citep{ramsauer2020hopfield, wu2024attention}. However, adapting these frozen memory systems to new tasks presents a fundamental ``Plasticity-Stability'' dilemma. Current methods either risk catastrophic interference by modifying synaptic weights directly (e.g., LoRA) \citep{hu2021lora} or degrade associative capacity by clogging the retrieval buffer with static prompt tokens (e.g., VPT) \citep{jia2022vpt}. In this work, we propose \textbf{H-Res} (Hierarchical Residual Steering), a mechanism that modulates the effective energy landscape of the Transformer without altering its global equilibrium or expanding its sequence length. By formulating adaptation as a control problem on the activation manifold \citep{chen2018neuralode}, H-Res learns a state-dependent vector field that steers token trajectories into task-specific basins of attraction. We formally prove that H-Res preserves the attention entropy of the foundation model and facilitates Neural Collapse \citep{papyan2020prevalence}. Empirically, Manifold Steering outperforms global weight modification by 26\% on associative retrieval tasks and eliminates the computational overhead of prompt-based methods, scaling effectively to structured domains \citep{zha2023vtab}.
• Abstract（参考訳）: 大型トランスフォーマーモデルは、Dense Associative Memories (DAM) として機能し、自己アテンション機構によって駆動される高次元アトラクタダイナミクスによる知識の検索を行う。 しかし、これらの凍結メモリシステムを新しいタスクに適応させると、基本的な `Plasticity-Stability'' ジレンマが現れる。 現在の手法では、シナプス重みを直接(例えば、LoRA) \citep{hu2021lora} に変更したり、静的なプロンプトトークン(eg、VPT) \citep{jia2022vpt} でバッファを閉じることで連想能力を低下させたりすることで破滅的干渉のリスクを負う。 本研究では,大域平衡を変化させたりシーケンス長を拡大したりすることなく,トランスフォーマーの有効エネルギー景観を変調する機構である「textbf{H-Res} (階層的残留ステアリング)」を提案する。 アクティベーション多様体 \citep{chen2018neuralode} 上の制御問題として適応を定式化することにより、H-Res は、トークン軌道をタスク固有のアトラクションの流域に導く状態依存ベクトル場を学習する。 我々はH-Resが基礎モデルの注意エントロピーを保ち、Neural Collapse \citep{papyan2020prevalence} を促進することを正式に証明する。 経験的に、マニフォールドステアリングは、連想的検索タスクにおいて、グローバルな重量修正を26 %上回り、プロンプトベースの手法の計算オーバーヘッドをなくし、構造化されたドメインに効果的にスケールする。

関連論文リスト

• Reasoning as Attractor Dynamics: Latent Memory Retrieval via Gibbs-Weighted Energy Minimization [0.0]
  大規模言語モデル(LLM)は伝統的に自己回帰型ジェネレータと見なされている。 本研究では,数学的推論のエネルギー景観について検討する。 軌道のスペクトルエントロピーのギブス測度に基づく検索機構を導入する。
  論文  参考訳（メタデータ） (2026-06-23T13:07:39Z)
• Controlled Dynamics Attractor Transformer [58.15454173718687]
  トランスフォーマーアーキテクチャは自己認識機構を通じて深層モデルにおける高度な表現学習と推論を行う。 並行して、連想記憶(AM)フレームワークはエネルギーランドスケープに表現をマッピングし、解釈可能な検索メカニズムを提供する。 我々は,ミセス・フィッシャー (Mo-vMF) の注意エネルギーとホップフィールド精製エネルギーを混合した制御型ダイナミクス・アトラクタ変換器 (CCAT) を提案する。 CCATは、グラフ異常検出とグラフ分類において、複数のベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-06-13T09:04:22Z)
• Energy-Structured Low-Rank Adaptation for Continual Learning [78.5390284258307]
  textbfEnergy-Concentrated and textbfEnergy-Ordered textbfLow-textbfRank textbfAdaptation (E$2$-LoRA)を提案する。 E$2$-LoRAは、知識を明示的に順序付けして上位のランクに集約することにより、その後のタスクの容量を解放する。
  論文  参考訳（メタデータ） (2026-05-26T12:55:02Z)
• Emergent Self-Attention from Astrocyte-Gated Associative Memory Dynamics [0.0]
  本稿では,エントロピー規則化された複製子方程式の下で進化する天文学的ゲインによって,効果的な接続性が乗算的に変調されるホップフィールド型連想メモリを提案する。 固定点において、天体ゲインはパターン類似度スコアに対するソフトマックス正規化アロケーションを実装し、利得単純度上の創発的ルーティングとして自己アテンションを機械的に実現する。
  論文  参考訳（メタデータ） (2026-04-28T10:37:15Z)
• Interpretable Relational Inference with LLM-Guided Symbolic Dynamics Modeling [5.089978175530993]
  観測力学から潜在相互作用構造を推定することは、多体相互作用系における基本的な逆問題である。 相互作用グラフとスパースシンボルダイナミクスを共同で発見する,微分可能なフレームワークである textbfCOSINE を提案する。
  論文  参考訳（メタデータ） (2026-04-14T14:36:07Z)
• Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics [0.0]
  シャノン-ボルツマンエントロピーの枠組みの中では、ソフトマックス関数はヘルムホルツ自由エネルギー関数を最小化する定常解として現れる。 このマッピングをマクロな観測対象に拡張し、注意エネルギー景観のゆらぎに関連する有効な比熱を定義する。 我々のフレームワークは、注意スケーリング、トレーニングダイナミクス、位置エンコーディングに関する統一的な統計的・機械的な視点を提供する。
  論文  参考訳（メタデータ） (2026-02-09T02:42:36Z)
• Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
  本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。 その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。 テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
  論文  参考訳（メタデータ） (2026-01-05T08:04:33Z)
• Deep Delta Learning [91.75868893250662]
  本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。 我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。 この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
  論文  参考訳（メタデータ） (2026-01-01T18:11:38Z)
• Continuous-Time Homeostatic Dynamics for Reentrant Inference Models [0.0]
  我々は、連続時間ニューラル-ODEシステムとして、Fast-Weights Homeostatic Reentry Networkを定式化する。 動力学は、エネルギー汎函数によって支配される有界な誘引子を認め、環のような多様体を生じる。 連続時間リカレントニューラルネットワークや液体ニューラルネットワークとは異なり、FHRNは、固定された再発やニューロン局所的な時間適応よりも、集団レベルのゲイン変調によって安定性を達成する。
  論文  参考訳（メタデータ） (2025-12-04T07:33:13Z)
• Analog In-memory Training on General Non-ideal Resistive Elements: The Impact of Response Functions [46.75046795995564]
  AIMCハードウェアでは、トレーニング可能な重量は抵抗素子のコンダクタンスで表され、連続する電気パルスを用いて更新される。 コンダクタンスはパルスごとに一定変化するが、実際には非対称および非線形応答関数によってスケールされ、非理想的トレーニングのダイナミクスをもたらす。 本稿では,AIMCハードウェアにおける非理想応答関数を用いた勾配学習の理論的基礎を提供する。
  論文  参考訳（メタデータ） (2025-02-10T09:56:15Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• Score-based Causal Representation Learning with Interventions [54.735484409244386]
  本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。 目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
  論文  参考訳（メタデータ） (2023-01-19T18:39:48Z)
• Decimation technique for open quantum systems: a case study with driven-dissipative bosonic chains [62.997667081978825]
  量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。 本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。 本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
  論文  参考訳（メタデータ） (2022-02-15T19:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。