論文の概要: Recurrent Self-Attention Dynamics: An Energy-Agnostic Perspective from Jacobians

• arxiv url: http://arxiv.org/abs/2505.19458v1
• Date: Mon, 26 May 2025 03:24:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.138442
• Title: Recurrent Self-Attention Dynamics: An Energy-Agnostic Perspective from Jacobians
• Title（参考訳）: Recurrent Self-Attention Dynamics: An Energy-Agnostic Perspective from Jacobians
• Authors: Akiyoshi Tomihari, Ryo Karakida,
• Abstract要約: この研究は、エネルギーの制約を緩和し、推論力学のエネルギーに依存しない特徴づけを提供することを目的としている。 まず、エネルギーベースの定式化において伝統的に必要とされる対称性と単頭制約を緩和することを検討する。 正規化層はヤコビアン複素固有値を効果的に正規化し、力学を臨界状態に近づける。
• 参考スコア（独自算出の注目度）: 5.217870815854702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The theoretical understanding of self-attention (SA) has been steadily progressing. A prominent line of work studies a class of SA layers that admit an energy function decreased by state updates. While it provides valuable insights into inherent biases in signal propagation, it often relies on idealized assumptions or additional constraints not necessarily present in standard SA. Thus, to broaden our understanding, this work aims to relax these energy constraints and provide an energy-agnostic characterization of inference dynamics by dynamical systems analysis. In more detail, we first consider relaxing the symmetry and single-head constraints traditionally required in energy-based formulations. Next, to investigate more general SA architectures capable of oscillatory dynamics without necessarily admitting an energy function, we analyze the Jacobian matrix of the state. We reveal that normalization layers effectively normalize the Jacobian's complex eigenvalues, forcing the dynamics close to a critical state. This significantly enhances inference performance. Furthermore, we utilize the Jacobian perspective to develop regularization methods for training and a pseudo-energy for monitoring inference dynamics.
• Abstract（参考訳）: 自己意識(SA)の理論的理解は着実に進んでいる。 顕著な一連の研究は、状態更新によってエネルギー関数が減少するSA層の研究である。 信号伝達における固有のバイアスに関する貴重な洞察を提供するが、しばしば理想化された仮定や標準SAに必ずしも存在しない追加の制約に依存している。 したがって、この研究は、これらのエネルギー制約を緩和し、力学系解析による推論力学のエネルギー依存的特徴付けを提供することを目的としている。 より詳しくは、エネルギーベースの定式化において伝統的に必要とされる対称性と単頭制約を緩和することを考える。 次に、エネルギー関数を必ずしも含まない振動動力学が可能なより一般的なSAアーキテクチャを調べるために、状態のヤコビ行列を解析する。 正規化層はヤコビアン複素固有値を効果的に正規化し、力学を臨界状態に近づける。 これにより推論性能が大幅に向上する。 さらに,ヤコビアン・パースペクティブを用いて,トレーニングのための正規化手法と,推論ダイナミクスのモニタリングのための擬似エネルギーを開発する。

関連論文リスト

• Quantum Simulation of Dynamical Response Functions of Equilibrium States [0.29998889086656577]
  動的応答関数の計算は、凝縮物質物理学における多くの問題の中心である。 既存のアプローチは、しばしば平衡状態へのアクセスを前提としており、実際には準備が困難である。 本稿では,エネルギーフィルタ技術を用いてこれを回避できる手法を提案する。
  論文  参考訳（メタデータ） (2025-05-08T16:52:11Z)
• Dynamics of Open Quantum Systems with Initial System-Environment Correlations via Stochastic Unravelings [0.0]
  オープン量子系において、還元力学は、システムと環境が最初は非相関であるという仮定から説明される。 相関のないシナリオでは、解答は力学をシミュレートする強力なツールであるが、これまでのところ相関が最初に存在する最も一般的なケースでは使われていない。 本研究では, 初期相関の存在下での解離を一般化する出発点として, 浴槽正 (B+) あるいは片側正分解形式を用いる。
  論文  参考訳（メタデータ） (2025-02-18T12:26:32Z)
• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• A link between static and dynamical perturbation theory [0.48951183832371004]
  量子力学における時間非依存理論と時間依存理論の間の重要なリンクとして、創発時間の役割を示す。 本研究は,1つの純エネルギー固有状態に基づく力学現象の計算への将来的な応用を想定する。
  論文  参考訳（メタデータ） (2024-05-14T09:01:30Z)
• Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning [57.67629402360924]
  本稿では,PSRL(Partially Supervised Reinforcement Learning)フレームワークを紹介する。 PSRLの中心は、教師なし学習と教師なし学習の融合である。 PSRLは、保存中のモデル解釈可能性を高め、従来の手法で設定された性能ベンチマークよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-14T16:23:23Z)
• TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
  連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。 時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。 様々な物理システムに対する実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-10-10T08:52:16Z)
• On the energetic analysis of autonomous quantum systems [0.0]
  この論文は、自律量子システム内のエネルギー分析に焦点を当てている。 本稿では,相互作用するサブシステム間のエネルギー交換を動的に記述するための,新しい一般形式論を提案する。
  論文  参考訳（メタデータ） (2022-11-14T15:14:00Z)
• Out-of-time-order correlations and the fine structure of eigenstate thermalisation [58.720142291102135]
  量子情報力学と熱化を特徴付けるツールとして、OTOC(Out-of-time-orderor)が確立されている。 我々は、OTOCが、ETH(Eigenstate Thermalisation hypothesis)の詳細な詳細を調査するための、本当に正確なツールであることを明確に示している。 無限温度状態における局所作用素の和からなる可観測物の一般クラスに対して、$omega_textrmGOE$の有限サイズスケーリングを推定する。
  論文  参考訳（メタデータ） (2021-03-01T17:51:46Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• Probing eigenstate thermalization in quantum simulators via fluctuation-dissipation relations [77.34726150561087]
  固有状態熱化仮説(ETH)は、閉量子多体系の平衡へのアプローチの普遍的なメカニズムを提供する。 本稿では, ゆらぎ・散逸関係の出現を観測し, 量子シミュレータのフルETHを探索する理論に依存しない経路を提案する。 我々の研究は、量子シミュレータにおける熱化を特徴づける理論に依存しない方法を示し、凝縮物質ポンプ-プローブ実験をシミュレーションする方法を舗装する。
  論文  参考訳（メタデータ） (2020-07-20T18:00:02Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。