論文の概要: Fighter: Unveiling the Graph Convolutional Nature of Transformers in Time Series Modeling

• arxiv url: http://arxiv.org/abs/2510.17106v1
• Date: Mon, 20 Oct 2025 02:42:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.286932
• Title: Fighter: Unveiling the Graph Convolutional Nature of Transformers in Time Series Modeling
• Title（参考訳）: Fighter: 時系列モデリングにおけるトランスフォーマーのグラフ畳み込み特性の展開
• Authors: Chen Zhang, Weixin Bu, Wendong Xu, Runsheng Yu, Yik-Chung Wu, Ngai Wong,
• Abstract要約: この研究は、Graph Convolutional Network (GCN) にその基本的な等価性を確立することで、Transformerエンコーダをデミステレーションする。 textbfFighter (Flexible Graph Convolutional Transformer) は、冗長な線形射影を除去し、マルチホップグラフアグリゲーションを組み込んだ合理化アーキテクチャである。
• 参考スコア（独自算出の注目度）: 33.595964789473065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have achieved remarkable success in time series modeling, yet their internal mechanisms remain opaque. This work demystifies the Transformer encoder by establishing its fundamental equivalence to a Graph Convolutional Network (GCN). We show that in the forward pass, the attention distribution matrix serves as a dynamic adjacency matrix, and its composition with subsequent transformations performs computations analogous to graph convolution. Moreover, we demonstrate that in the backward pass, the update dynamics of value and feed-forward projections mirror those of GCN parameters. Building on this unified theoretical reinterpretation, we propose \textbf{Fighter} (Flexible Graph Convolutional Transformer), a streamlined architecture that removes redundant linear projections and incorporates multi-hop graph aggregation. This perspective yields an explicit and interpretable representation of temporal dependencies across different scales, naturally expressed as graph edges. Experiments on standard forecasting benchmarks confirm that Fighter achieves competitive performance while providing clearer mechanistic interpretability of its predictions.
• Abstract（参考訳）: 変換器は時系列モデリングにおいて顕著な成功を収めてきたが、内部メカニズムは不透明のままである。 この研究は、Graph Convolutional Network (GCN) と基本的な等価性を確立することで、Transformerエンコーダをデミステレーションする。 フォワードパスでは、アテンション分布行列が動的隣接行列として機能し、その後の変換による構成がグラフ畳み込みに類似した計算を行うことを示す。 さらに、後方通過では、値の更新ダイナミクスとフィードフォワードプロジェクションがGCNパラメータの更新ダイナミクスを反映していることを示す。 この統一された理論的解釈に基づいて、冗長な線形射影を除去し、マルチホップグラフの集約を組み込んだ合理化アーキテクチャである「textbf{Fighter} (Flexible Graph Convolutional Transformer)」を提案する。 この観点は、グラフエッジとして自然に表される、異なるスケールにわたる時間的依存関係の明示的で解釈可能な表現をもたらす。 標準的な予測ベンチマークの実験では、Fighterはその予測のより明確な機械的解釈性を提供しながら、競争性能を達成することを確認した。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization [6.799413002613627]
  Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。 メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。 Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-02T23:05:30Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
  本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。 このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。 得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
  論文  参考訳（メタデータ） (2023-06-19T12:54:28Z)
• Relphormer: Relational Graph Transformer for Knowledge Graph Representations [25.40961076988176]
  本稿ではRelphormerと呼ばれる知識グラフ表現のためのTransformerの新しい変種を提案する。 本稿では,関係情報をエンコードし,意味情報を実体や関係内に保持する構造強化型自己認識機構を提案する。 6つのデータセットの実験結果から、Relphormerはベースラインよりも優れたパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-05-22T15:30:18Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。