論文の概要: Recurrent Self-Attention Dynamics: An Energy-Agnostic Perspective from Jacobians

• arxiv url: http://arxiv.org/abs/2505.19458v4
• Date: Wed, 05 Nov 2025 03:57:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 16:07:39.50233
• Title: Recurrent Self-Attention Dynamics: An Energy-Agnostic Perspective from Jacobians
• Title（参考訳）: Recurrent Self-Attention Dynamics: An Energy-Agnostic Perspective from Jacobians
• Authors: Akiyoshi Tomihari, Ryo Karakida,
• Abstract要約: この研究は、エネルギーの制約を緩和し、推論力学のエネルギーに依存しない特徴づけを提供することを目的としている。 このことは、正規化層がSAのリプシッツ性やヤコビアンの複素固有値を抑制する上で重要な役割を果たすことを示している。 ヤコビアン・パースペクティブは、トレーニングのための正規化手法や、推論ダイナミクスのモニタリングのための擬似エネルギーの開発にも有効である。
• 参考スコア（独自算出の注目度）: 13.435505794863518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The theoretical understanding of self-attention (SA) has been steadily progressing. A prominent line of work studies a class of SA layers that admit an energy function decreased by state updates. While it provides valuable insights into inherent biases in signal propagation, it often relies on idealized assumptions or additional constraints not necessarily present in standard SA. Thus, to broaden our understanding, this work aims to relax these energy constraints and provide an energy-agnostic characterization of inference dynamics by dynamical systems analysis. In more detail, we first consider relaxing the symmetry and single-head constraints traditionally required in energy-based formulations. Next, we show that analyzing the Jacobian matrix of the state is highly valuable when investigating more general SA architectures without necessarily admitting an energy function. It reveals that the normalization layer plays an essential role in suppressing the Lipschitzness of SA and the Jacobian's complex eigenvalues, which correspond to the oscillatory components of the dynamics. In addition, the Lyapunov exponents computed from the Jacobians demonstrate that the normalized dynamics lie close to a critical state, and this criticality serves as a strong indicator of high inference performance. Furthermore, the Jacobian perspective also enables us to develop regularization methods for training and a pseudo-energy for monitoring inference dynamics.
• Abstract（参考訳）: 自己意識(SA)の理論的理解は着実に進んでいる。 顕著な一連の研究は、状態更新によってエネルギー関数が減少するSA層の研究である。 信号伝達における固有のバイアスに関する貴重な洞察を提供するが、しばしば理想化された仮定や標準SAに必ずしも存在しない追加の制約に依存している。 したがって、この研究は、これらのエネルギー制約を緩和し、力学系解析による推論力学のエネルギー依存的特徴付けを提供することを目的としている。 より詳しくは、エネルギーベースの定式化において伝統的に必要とされる対称性と単頭制約を緩和することを考える。 次に,この状態のヤコビ行列を解析することは,エネルギー関数を必ずしも認めなくても,より一般的なSAアーキテクチャを調査する上で非常に重要であることを示す。 このことは、正規化層がSAのリプシッツ性や動力学の振動成分に対応するヤコビアン複素固有値の抑制に不可欠な役割を担っていることを明らかにしている。 さらに、ヤコビアンから計算されたリャプノフ指数は、正規化された力学が臨界状態に近いことを示し、この臨界性は高い推論性能の強い指標となる。 さらに、ヤコビアン・パースペクティブは、トレーニングのための正規化手法や、推論ダイナミクスを監視するための擬似エネルギーも開発することができる。

関連論文リスト

• KoopGen: Koopman Generator Networks for Representing and Predicting Dynamical Systems with Continuous Spectra [65.11254608352982]
  生成元をベースとしたニューラル・クープマン・フレームワークを導入し,構造的かつ状態に依存したクープマン・ジェネレータの表現を通じて動的にモデル化する。 固有のカルテス分解をスキュー結合および自己結合成分に利用することにより、KoopGenは可逆的な散逸から保守的な輸送を分離する。
  論文  参考訳（メタデータ） (2026-02-15T06:32:23Z)
• Intrinsic-Energy Joint Embedding Predictive Architectures Induce Quasimetric Spaces [0.764671395172401]
  JEPA(Joint-Embedding Predictive Architectures)は、コンテキスト埋め込みからターゲット埋め込みを予測することで表現を学習することを目的としている。 準メトリック強化学習(QRL)は、非対称力学の下でゴールに達することを支援する有向距離値(コスト対ゴー)を通じてゴール条件制御を研究する。
  論文  参考訳（メタデータ） (2026-02-12T18:30:27Z)
• State Rank Dynamics in Linear Attention LLMs [37.607046806053035]
  州の階級階層化は、線形アテンションヘッド間で異なるスペクトル分岐によって特徴づけられる。 低ランクの頭部はモデル推論に欠かせないが、高ランクの頭部は顕著な冗長性を示す。 我々は,KVキャッシュのオーバーヘッドを38.9%削減し,モデル精度を大きく維持するゼロショット戦略であるJoint Rank-Norm Pruningを提案する。
  論文  参考訳（メタデータ） (2026-02-02T15:00:42Z)
• Constraint Breeds Generalization: Temporal Dynamics as an Inductive Bias [1.219017431258669]
  制約は、制約としてではなく、一般化を生み出す時間的帰納バイアスとして機能する。 我々は、堅牢なAI開発には、制限のスケーリングと削除だけでなく、自然に一般化を促進する時間的特性を計算的にマスターする必要があることを示す。
  論文  参考訳（メタデータ） (2025-12-30T00:34:24Z)
• ECO: Energy-Constrained Operator Learning for Chaotic Dynamics with Boundedness Guarantees [3.2740680236631636]
  本稿では,予測において有界性を保ちながらシステムダイナミクスを同時に学習するEnergy-Constrained Operator(ECO)を紹介する。 我々の知る限り、これはデータ駆動カオス力学モデルに対するそのような形式的な保証を確立する最初の研究である。 我々は,ESOの安定な長期予測生成能力の実証的成功を実証する。
  論文  参考訳（メタデータ） (2025-12-01T18:42:02Z)
• Self-Organization and Spectral Mechanism of Attractor Landscapes in High-Capacity Kernel Hopfield Networks [0.0]
  カーネルベースの学習は、Hopfieldネットワークのストレージ容量を劇的に増加させる。 階調崩壊と拡散のスペクトル"Goldilocks Zone"に調整することで最適な性能が得られることを示す。
  論文  参考訳（メタデータ） (2025-11-17T06:58:34Z)
• Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
  本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。 複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2025-10-13T03:10:26Z)
• Quantum Simulation of Dynamical Response Functions of Equilibrium States [0.29998889086656577]
  動的応答関数の計算は、凝縮物質物理学における多くの問題の中心である。 既存のアプローチは、しばしば平衡状態へのアクセスを前提としており、実際には準備が困難である。 本稿では,エネルギーフィルタ技術を用いてこれを回避できる手法を提案する。
  論文  参考訳（メタデータ） (2025-05-08T16:52:11Z)
• Dynamics of Open Quantum Systems with Initial System-Environment Correlations via Stochastic Unravelings [0.0]
  オープン量子系において、還元力学は、システムと環境が最初は非相関であるという仮定から説明される。 相関のないシナリオでは、解答は力学をシミュレートする強力なツールであるが、これまでのところ相関が最初に存在する最も一般的なケースでは使われていない。 本研究では, 初期相関の存在下での解離を一般化する出発点として, 浴槽正 (B+) あるいは片側正分解形式を用いる。
  論文  参考訳（メタデータ） (2025-02-18T12:26:32Z)
• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• A link between static and dynamical perturbation theory [0.48951183832371004]
  量子力学における時間非依存理論と時間依存理論の間の重要なリンクとして、創発時間の役割を示す。 本研究は,1つの純エネルギー固有状態に基づく力学現象の計算への将来的な応用を想定する。
  論文  参考訳（メタデータ） (2024-05-14T09:01:30Z)
• Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning [57.67629402360924]
  本稿では,PSRL(Partially Supervised Reinforcement Learning)フレームワークを紹介する。 PSRLの中心は、教師なし学習と教師なし学習の融合である。 PSRLは、保存中のモデル解釈可能性を高め、従来の手法で設定された性能ベンチマークよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-14T16:23:23Z)
• TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
  連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。 時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。 様々な物理システムに対する実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-10-10T08:52:16Z)
• On the energetic analysis of autonomous quantum systems [0.0]
  この論文は、自律量子システム内のエネルギー分析に焦点を当てている。 本稿では,相互作用するサブシステム間のエネルギー交換を動的に記述するための,新しい一般形式論を提案する。
  論文  参考訳（メタデータ） (2022-11-14T15:14:00Z)
• Out-of-time-order correlations and the fine structure of eigenstate thermalisation [58.720142291102135]
  量子情報力学と熱化を特徴付けるツールとして、OTOC(Out-of-time-orderor)が確立されている。 我々は、OTOCが、ETH(Eigenstate Thermalisation hypothesis)の詳細な詳細を調査するための、本当に正確なツールであることを明確に示している。 無限温度状態における局所作用素の和からなる可観測物の一般クラスに対して、$omega_textrmGOE$の有限サイズスケーリングを推定する。
  論文  参考訳（メタデータ） (2021-03-01T17:51:46Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• Probing eigenstate thermalization in quantum simulators via fluctuation-dissipation relations [77.34726150561087]
  固有状態熱化仮説(ETH)は、閉量子多体系の平衡へのアプローチの普遍的なメカニズムを提供する。 本稿では, ゆらぎ・散逸関係の出現を観測し, 量子シミュレータのフルETHを探索する理論に依存しない経路を提案する。 我々の研究は、量子シミュレータにおける熱化を特徴づける理論に依存しない方法を示し、凝縮物質ポンプ-プローブ実験をシミュレーションする方法を舗装する。
  論文  参考訳（メタデータ） (2020-07-20T18:00:02Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。