論文の概要: Controlled Dynamics Attractor Transformer

• arxiv url: http://arxiv.org/abs/2606.15207v1
• Date: Sat, 13 Jun 2026 09:04:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.055372
• Title: Controlled Dynamics Attractor Transformer
• Title（参考訳）: 制御されたダイナミクス・トラクタ変換器
• Authors: Cheng Zhang, Minnan Luo, Zesheng Yang, Ming Li, Yong-Jin Liu, Qinghua Zheng,
• Abstract要約: トランスフォーマーアーキテクチャは自己認識機構を通じて深層モデルにおける高度な表現学習と推論を行う。 並行して、連想記憶(AM)フレームワークはエネルギーランドスケープに表現をマッピングし、解釈可能な検索メカニズムを提供する。 我々は,ミセス・フィッシャー (Mo-vMF) の注意エネルギーとホップフィールド精製エネルギーを混合した制御型ダイナミクス・アトラクタ変換器 (CCAT) を提案する。 CCATは、グラフ異常検出とグラフ分類において、複数のベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 58.15454173718687
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer architectures have dramatically advanced representation learning and inference in deep models through self-attention mechanisms. In parallel,associative memory (AM) frameworks map representations onto energy landscapes, offering interpretable retrieval mechanisms. However, their continuous-time inference dynamics lack the biological plausibility of classical Continuous Attractor Neural Networks (CANNs). To bridge this gap, we propose Controlled Dynamics Attractor Transformer (CDAT), which couples a mixture von Mises-Fisher (Mo-vMF) attention energy with a Hopfield refinement energy, while augmenting energy descent with a CANN-inspired excitation-inhibition modulation. CDAT instantiates a topology-constrained dynamical system whose couplings encode relational structure among tokens, thereby linking attractor-style dynamics to modern energy-based attention. We further provide a constructive dissipation analysis to formally establish their controlled inference dynamics. Benefiting from these robust and structured dynamics, CDAT achieves state-of-the-art performance across multiple benchmarks in graph anomaly detection and graph classification.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは、自己認識機構を通じて深層モデルにおける表現学習と推論を劇的に進歩させる。 並行して、連想記憶(AM)フレームワークは、エネルギーランドスケープに表現をマッピングし、解釈可能な検索メカニズムを提供する。 しかし、その連続時間推論のダイナミクスは、古典的連続トラクタニューラルネットワーク(CANN)の生物学的妥当性を欠いている。 このギャップを埋めるために、制御ダイナミクスアクチュエータ変換器(CDAT)を提案する。これは、ミセス・フィッシャー(Mo-vMF)の注意エネルギーとホップフィールドの微細化エネルギーを混合し、CANNにインスパイアされた励起抑制変調によるエネルギー降下を増大させる。 CDATは、トークン間の関係構造をエンコードするトポロジ制約された力学系をインスタンス化し、それによってアトラクタスタイルのダイナミクスと現代のエネルギーベースの注意を結びつける。 さらに、制御された推論力学を正式に確立するために、構成的な散逸分析を提供する。 これらの頑健で構造化された力学から恩恵を受け、CDATはグラフ異常検出とグラフ分類において、複数のベンチマークで最先端のパフォーマンスを達成する。

関連論文リスト

• Decoupled and Divergence-Conditioned Prompt for Multi-domain Dynamic Graph Foundation Models [59.8742208800447]
  分離および分散条件付きプロンプトに基づく動的グラフ基礎モデルであるDyGFMを提案する。 DyGFMは、ノード分類とリンク予測の両方において、12の最先端のベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-05-13T13:50:03Z)
• Emergence Transformer: Dynamical Temporal Attention Matters [8.268321002607737]
  人工知能の画期的なアーキテクチャであるTransformerは、その成功をアテンションメカニズムに負っている。 本稿では,各コンポーネントが自前の状態や隣人の過去の状態と対話できるEmergence Transformerを提案する。 我々は,DTAが社会的コヒーレンスを再認識し,合意の強化や複数保持の戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-18T01:10:44Z)
• Hebbian Attractor Networks for Robot Locomotion [44.84033948079516]
  ヘビアン可塑性は、変化する環境に迅速に適応するための有望な道を提供する。 Hebbian Attractor Networks (HANs) は創発的アトラクタダイナミクスを誘導する。 その結果、低速更新と平均的なシナプス前後の活性化が組み合わさって、安定した重量構成への収束を促進することが示唆された。
  論文  参考訳（メタデータ） (2026-03-23T19:20:14Z)
• Prismatic World Model: Learning Compositional Dynamics for Planning in Hybrid Systems [38.4555621948915]
  Prismatic World Model (PRISM-WM) は複雑なハイブリッド力学を構成可能なプリミティブに分解するように設計されている。 PRISM-WMは系力学におけるシャープモード遷移を正確にモデル化することでロールアウトドリフトを著しく低減する。
  論文  参考訳（メタデータ） (2025-12-09T09:40:34Z)
• Tensor Network Framework for Forecasting Nonlinear and Chaotic Dynamics [1.790605517028706]
  非線形およびカオス力学を予測するためのテンソルネットワークモデル(TNM)を提案する。 我々は,TNMが短時間の軌道を正確に再構成し,アトラクタ形状を忠実に捉えていることを示す。
  論文  参考訳（メタデータ） (2025-11-12T11:49:38Z)
• PowerGrow: Feasible Co-Growth of Structures and Dynamics for Power Grid Synthesis [75.14189839277928]
  本稿では,運用効率を維持しながら計算オーバーヘッドを大幅に削減する,共同生成フレームワークPowerGrowを提案する。 ベンチマーク設定による実験では、PowerGrowはフィデリティと多様性において、事前の拡散モデルよりも優れていた。 これは、運用上有効で現実的な電力グリッドシナリオを生成する能力を示している。
  論文  参考訳（メタデータ） (2025-08-29T01:47:27Z)
• Transformers from Diffusion: A Unified Framework for Neural Message Passing [79.9193447649011]
  メッセージパッシングニューラルネットワーク(MPNN)は、デファクトクラスのモデルソリューションとなっている。 本稿では,拡散の誘導バイアスとエネルギーの層的制約を統合するエネルギー制約拡散モデルを提案する。 これらの知見に基づいて、我々はTransformer (DIFFormer)と呼ばれる新しいタイプのメッセージパッシングモデルを考案した。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
  トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。 動作方法や期待されるダイナミクスについてはほとんど分かっていない。 非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
  論文  参考訳（メタデータ） (2024-06-11T13:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。