論文の概要: Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers

• arxiv url: http://arxiv.org/abs/2501.02393v1
• Date: Sat, 04 Jan 2025 22:30:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:47.027195
• Title: Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers
• Title（参考訳）: 変圧器の適応力学に対するグラフ対応同型アテンション
• Authors: Markus J. Buehler,
• Abstract要約: 変換器の注意機構をグラフ演算として再構成する。 スパース GIN-Attention はスパース GIN を用いた微調整手法である。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present an approach to modifying Transformer architectures by integrating graph-aware relational reasoning into the attention mechanism, merging concepts from graph neural networks and language modeling. Building on the inherent connection between attention and graph theory, we reformulate the Transformer's attention mechanism as a graph operation and propose Graph-Aware Isomorphic Attention. This method leverages advanced graph modeling strategies, including Graph Isomorphism Networks (GIN) and Principal Neighborhood Aggregation (PNA), to enrich the representation of relational structures. Our approach captures complex dependencies and generalizes across tasks, as evidenced by a reduced generalization gap and improved learning performance. Additionally, we expand the concept of graph-aware attention to introduce Sparse GIN-Attention, a fine-tuning approach that employs sparse GINs. By interpreting attention matrices as sparse adjacency graphs, this technique enhances the adaptability of pre-trained foundational models with minimal computational overhead, endowing them with graph-aware capabilities. Sparse GIN-Attention fine-tuning achieves improved training dynamics and better generalization compared to alternative methods like low-rank adaption (LoRA). We discuss latent graph-like structures within traditional attention mechanisms, offering a new lens through which Transformers can be understood. By evolving Transformers as hierarchical GIN models for relational reasoning. This perspective suggests profound implications for foundational model development, enabling the design of architectures that dynamically adapt to both local and global dependencies. Applications in bioinformatics, materials science, language modeling, and beyond could benefit from this synthesis of relational and sequential data modeling, setting the stage for interpretable and generalizable modeling strategies.
• Abstract（参考訳）: 本稿では,グラフ認識型リレーショナル推論をアテンション機構に統合し,グラフニューラルネットワークと言語モデリングの概念を融合させることにより,トランスフォーマーアーキテクチャを改良するアプローチを提案する。 本研究では,注目とグラフ理論の関連性に基づいて,トランスフォーマーの注意機構をグラフ演算として再構成し,グラフ認識同型アテンションを提案する。 この手法はグラフ同型ネットワーク(GIN)やPNA(Principal Neighborhood Aggregation)といった高度なグラフモデリング戦略を活用し、関係構造の表現を強化する。 一般化のギャップを減らし、学習性能の向上が証明されたように、我々のアプローチは複雑な依存関係を捕捉し、タスクをまたいで一般化する。 さらに、スパースGINを用いた微調整アプローチであるスパースGIN-Attentionを導入するために、グラフ対応の注意の概念を拡張した。 この手法は、注意行列をスパース隣接グラフと解釈することにより、計算オーバーヘッドが最小限である事前学習された基礎モデルの適応性を向上し、グラフ認識能力を付与する。 Sparse GIN-Attention fine-tuningは、ローランク適応(LoRA)のような代替手法と比較して、トレーニングダイナミクスの改善と一般化の改善を実現している。 従来の注目機構内での潜伏グラフのような構造を議論し、トランスフォーマーを理解可能な新しいレンズを提供する。 リレーショナル推論のための階層型GINモデルとしてTransformerを進化させること。 この視点は、局所的およびグローバルな依存関係の両方に動的に適応するアーキテクチャの設計を可能にする基礎的なモデル開発に深い影響を示唆している。 バイオインフォマティクス、材料科学、言語モデリングなどの応用は、リレーショナルおよびシーケンシャルなデータモデリングのこの合成の恩恵を受けることができる。

関連論文リスト

• GraphCroc: Cross-Correlation Autoencoder for Graph Structural Reconstruction [6.817416560637197]
  グラフオートエンコーダ(GAE)はノード埋め込みからグラフ構造を再構築する。 我々はGAE表現能力を著しく向上する相互相関機構を導入する。 また、さまざまな下流タスクに適したフレキシブルエンコーダアーキテクチャをサポートする新しいGAEであるGraphCrocを提案する。
  論文  参考訳（メタデータ） (2024-10-04T12:59:45Z)
• Characterizing Massive Activations of Attention Mechanism in Graph Neural Networks [0.9499648210774584]
  近年、複雑なパターンをキャプチャする能力を改善するため、注意機構がグラフニューラルネットワーク(GNN)に統合されている。 本稿では,注意層内におけるMA(Massive Activations)の出現を明らかにした最初の総合的研究について述べる。 本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,GNNモデルの評価を行う。
  論文  参考訳（メタデータ） (2024-09-05T12:19:07Z)
• Graph External Attention Enhanced Transformer [20.44782028691701]
  本稿では,複数の外部ノード/エッジキー値単位を利用してグラフ間相関を暗黙的にキャプチャする新しい注意機構であるグラフ外部注意機構(GEA)を提案する。 そこで我々は,GeAET (Graph external Attention Enhanced Transformer) と呼ばれる効果的なアーキテクチャを設計した。 ベンチマークデータセットの実験では、GAETが最先端の実証的なパフォーマンスを達成することが示されている。
  論文  参考訳（メタデータ） (2024-05-31T17:50:27Z)
• Advective Diffusion Transformers for Topological Generalization in Graph Learning [69.2894350228753]
  グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。 本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Transforming Graphs for Enhanced Attribute Clustering: An Innovative Graph Transformer-Based Method [8.989218350080844]
  本研究では、グラフクラスタリングのためのグラフトランスフォーマーオートエンコーダ(GTAGC)と呼ばれる革新的な手法を提案する。 Graph Auto-EncoderをGraph Transformerでマージすることで、GTAGCはノード間のグローバルな依存関係をキャプチャできる。 GTAGCのアーキテクチャはグラフの埋め込み、オートエンコーダ構造内のグラフ変換器の統合、クラスタリングコンポーネントを含んでいる。
  論文  参考訳（メタデータ） (2023-06-20T06:04:03Z)
• Dynamic Graph Representation Learning via Edge Temporal States Modeling and Structure-reinforced Transformer [5.093187534912688]
  本稿では,動的グラフ表現学習のための新しいフレームワークであるRecurrent Structure-Reinforced Graph Transformer (RSGT)を紹介する。 RSGTは、繰り返し学習パラダイムを通じて、グラフトポロジと進化力学の両方をコードする時間ノード表現をキャプチャする。 離散動的グラフ表現学習におけるRSGTの優れた性能を示し、動的リンク予測タスクにおける既存の手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T04:12:50Z)
• Causally-guided Regularization of Graph Attention Improves Generalizability [69.09877209676266]
  本稿では,グラフアテンションネットワークのための汎用正規化フレームワークであるCARを紹介する。 メソッド名は、グラフ接続に対するアクティブ介入の因果効果とアテンションメカニズムを一致させる。 ソーシャル・メディア・ネットワーク規模のグラフでは、CAR誘導グラフ再構成アプローチにより、グラフの畳み込み手法のスケーラビリティとグラフの注意力の向上を両立させることができる。
  論文  参考訳（メタデータ） (2022-10-20T01:29:10Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• GraphOpt: Learning Optimization Models of Graph Formation [72.75384705298303]
  本稿では,グラフ構造形成の暗黙的モデルを学ぶエンドツーエンドフレームワークを提案し,その基盤となる最適化機構を明らかにする。 学習した目的は、観測されたグラフプロパティの説明として機能し、ドメイン内の異なるグラフを渡すために自分自身を貸すことができる。 GraphOptは、グラフ内のリンク生成をシーケンシャルな意思決定プロセスとして、最大エントロピー逆強化学習アルゴリズムを用いて解決する。
  論文  参考訳（メタデータ） (2020-07-07T16:51:39Z)
• Structural Landmarking and Interaction Modelling: on Resolution Dilemmas in Graph Classification [50.83222170524406]
  解法ジレンマの統一概念に基づくグラフ分類における本質的難易度の研究」 構造ランドマークと相互作用モデリングのためのインダクティブニューラルネットワークモデルSLIM'を提案する。
  論文  参考訳（メタデータ） (2020-06-29T01:01:42Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。