Fugu-MT 論文翻訳(概要): Emergence Transformer: Dynamical Temporal Attention Matters

論文の概要: Emergence Transformer: Dynamical Temporal Attention Matters

arxiv url: http://arxiv.org/abs/2604.19816v1
Date: Sat, 18 Apr 2026 01:10:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-23 15:36:10.556884
Title: Emergence Transformer: Dynamical Temporal Attention Matters
Title（参考訳）: 創発変圧器:動的時間的注意事項
Authors: Zihan Zhou, Bo-Wei Qin, Kai Du, Wei Lin,
Abstract要約: 人工知能の画期的なアーキテクチャであるTransformerは、その成功をアテンションメカニズムに負っている。本稿では,各コンポーネントが自前の状態や隣人の過去の状態と対話できるEmergence Transformerを提案する。我々は,DTAが社会的コヒーレンスを再認識し,合意の強化や複数保持の戦略を提案する。
参考スコア（独自算出の注目度）: 8.268321002607737
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Transformer, a breakthrough architecture in artificial intelligence, owes its success to the attention mechanism, which utilizes long-range interactions in sequential data, enabling the emergent coherence between large language models (LLMs) and data distributions. However, temporal attention, that is, different forms of long-range interactions in temporal sequences, has rarely been explored in emergence phenomenon of complex systems including oscillatory coherence in quantum, biophysical, or climate systems. Here, by designing dynamical temporal attention (DTA) with time-varying query, key, and value matrices, we propose an Emergence Transformer. This architecture allows each component to interact with its own or its neighbors' past states through dynamical attention kernels, thereby enabling the promotion and/or suppression of the emergent coherence of components. Interestingly, we uncover that neighbor-DTA consistently promotes oscillatory coherence, whereas self-DTA exhibits an optimal attention weight for coherence enhancement, owing to its non-monotonic dependence on network structure. Practically, we demonstrate how DTA reshapes social coherence, suggesting strategies to either enhance agreement or preserve plurality. We further apply DTA to the paradigmatic Hopfield neural network, achieving emergent continual learning without catastrophic forgetting. Together, these results lay a foundation and provide an immediate paradigm for modulating emergence phenomenon in networked dynamics only using DTA.
Abstract（参考訳）: 人工知能のブレークスルーアーキテクチャであるTransformerの成功は、シーケンシャルデータにおける長距離インタラクションを利用するアテンションメカニズムによるものであり、大きな言語モデル(LLM)とデータ分散の創発的な一貫性を可能にする。しかし、時間的注意、すなわち時間的シーケンスにおける異なる長距離相互作用の形態は、量子、生物物理学、気候システムにおける振動コヒーレンスを含む複雑なシステムの出現現象において、しばしば研究されてきた。本稿では,動的時間的注意(DTA)を時変クエリ,キー,値行列で設計することにより,Emergence Transformerを提案する。このアーキテクチャにより、各コンポーネントは動的注意カーネルを介して、自身のまたは隣人の過去の状態と相互作用し、コンポーネントの創発的コヒーレンスを促進または/または抑制することができる。興味深いことに、近隣のDTAが一貫して振動コヒーレンスを促進するのに対して、自己DTAはネットワーク構造への非単調な依存のため、コヒーレンス向上に最適な注意重みを示す。実際に,DTAが社会的コヒーレンスをどう評価するかを実証し,合意の強化や複数保持の戦略を提案する。さらに,DTAをパラダイム的ホップフィールドニューラルネットワークに適用し,破滅的忘れを伴わずに創発的連続学習を実現する。これらの結果は、DTAのみを用いてネットワーク力学における出現現象を調節するための基礎と即時パラダイムを提供するものである。

関連論文リスト

DySCo: Dynamic Semantic Compression for Effective Long-term Time Series Forecasting [6.800568640042171]
時系列予測は、金融、気象学、エネルギーといった分野において重要である。本稿では,これらの課題に対処する動的意味圧縮(DySCo)フレームワークを提案する。 DySCoは汎用的なプラグイン・アンド・プレイモジュールとして機能し、主要なモデルが長期的相関を捉える能力を大幅に強化する。
論文参考訳（メタデータ） (2026-04-01T12:40:23Z)
Temporal Graph Pattern Machine [17.352525018007473]
時間的グラフパターンマシン(TGPM)は、時間的に偏ったランダムウォークによって合成された相互作用パッチとして、各相互作用を概念化する。 TGPMは、トランスダクティブリンク予測とインダクティブリンク予測の両方において、常に最先端の性能を達成する。
論文参考訳（メタデータ） (2026-01-30T01:46:13Z)
RainDiff: End-to-end Precipitation Nowcasting Via Token-wise Attention Diffusion [64.49056527678606]
本稿では,U-Net拡散モデルだけでなく,レーダ時間エンコーダにも統合されたトークンワイドアテンションを提案する。従来の手法とは異なり,本手法は,画素空間拡散の典型的な高資源コストを発生させることなく,アーキテクチャに注意を集中させる。実験と評価により,提案手法は複雑な降水予測シナリオにおいて,最先端の手法,ロバストネスの局所的忠実度,一般化,優位性を著しく上回ることを示した。
論文参考訳（メタデータ） (2025-10-16T17:59:13Z)
PowerGrow: Feasible Co-Growth of Structures and Dynamics for Power Grid Synthesis [75.14189839277928]
本稿では,運用効率を維持しながら計算オーバーヘッドを大幅に削減する,共同生成フレームワークPowerGrowを提案する。ベンチマーク設定による実験では、PowerGrowはフィデリティと多様性において、事前の拡散モデルよりも優れていた。これは、運用上有効で現実的な電力グリッドシナリオを生成する能力を示している。
論文参考訳（メタデータ） (2025-08-29T01:47:27Z)
Learning Locally Interacting Discrete Dynamical Systems: Towards Data-Efficient and Scalable Prediction [16.972017028598597]
局所力学系は局所的、比較的単純で、しばしば動的要素間の相互作用から複雑な大域的ダイナミクスを示す。本稿では,Attentive Recurrent Cellular Automata(AR-NCA)を提案する。 AR-NCAは様々なシステム構成において優れた一般化性を示す。
論文参考訳（メタデータ） (2024-04-09T17:00:43Z)
Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition [0.0]
本稿では,マルチスケール空間時間自己注意(MSST)-GCNという自己注意型GCNハイブリッドモデルを提案する。適応トポロジを持つ空間自己保持モジュールを用いて、異なる身体部分間のフレーム内相互作用を理解するとともに、時間的自己保持モジュールを用いてノードのフレーム間の相関関係を調べる。
論文参考訳（メタデータ） (2024-04-03T10:25:45Z)
Relational Self-Attention: What's Missing in Attention for Video Understanding [52.38780998425556]
リレーショナル・セルフアテンション(RSA)と呼ばれるリレーショナル・フィーチャー・トランスフォーメーションを導入する。我々の実験およびアブレーション研究により、RSAネットワークは、畳み込みや自己意図的ネットワークよりも大幅に優れていることが示された。
論文参考訳（メタデータ） (2021-11-02T15:36:11Z)
Learn to cycle: Time-consistent feature discovery for action recognition [83.43682368129072]
時間的変動を一般化することは、ビデオにおける効果的な行動認識の前提条件である。 Squeeze Re Temporal Gates (SRTG) を導入する。 SRTPGブロックを使用する場合,GFLOの数は最小限に抑えられ,一貫した改善が見られた。
論文参考訳（メタデータ） (2020-06-15T09:36:28Z)
A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
論文参考訳（メタデータ） (2020-03-13T04:35:50Z)
Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
論文参考訳（メタデータ） (2020-01-09T10:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。