Fugu-MT 論文翻訳(概要): Graph Triple Attention Network: A Decoupled Perspective

論文の概要: Graph Triple Attention Network: A Decoupled Perspective

arxiv url: http://arxiv.org/abs/2408.07654v1
Date: Wed, 14 Aug 2024 16:29:07 GMT
ステータス: 処理完了
システム内更新日: 2024-08-15 12:33:27.443979
Title: Graph Triple Attention Network: A Decoupled Perspective
Title（参考訳）: Graph Triple Attention Network: 分離された視点
Authors: Xiaotang Wang, Yun Zhu, Haizhou Shi, Yongchao Liu, Chuntao Hong,
Abstract要約: グラフトランスフォーマーは、マルチビューカオスとローカルグローバルカオスの2つの主要な課題に直面している。我々は、GTの高レベルな分離された視点を提案し、それらを3つのコンポーネントと2つの相互作用レベルに分解する。 DeGTAというグラフトリプルアテンションネットワークを設計し、多視点アテンションを別々に計算し、多視点ローカルおよびグローバル情報を適応的に統合する。
参考スコア（独自算出の注目度）: 8.958483386270638
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph Transformers (GTs) have recently achieved significant success in the graph domain by effectively capturing both long-range dependencies and graph inductive biases. However, these methods face two primary challenges: (1) multi-view chaos, which results from coupling multi-view information (positional, structural, attribute), thereby impeding flexible usage and the interpretability of the propagation process. (2) local-global chaos, which arises from coupling local message passing with global attention, leading to issues of overfitting and over-globalizing. To address these challenges, we propose a high-level decoupled perspective of GTs, breaking them down into three components and two interaction levels: positional attention, structural attention, and attribute attention, alongside local and global interaction. Based on this decoupled perspective, we design a decoupled graph triple attention network named DeGTA, which separately computes multi-view attentions and adaptively integrates multi-view local and global information. This approach offers three key advantages: enhanced interpretability, flexible design, and adaptive integration of local and global information. Through extensive experiments, DeGTA achieves state-of-the-art performance across various datasets and tasks, including node classification and graph classification. Comprehensive ablation studies demonstrate that decoupling is essential for improving performance and enhancing interpretability. Our code is available at: https://github.com/wangxiaotang0906/DeGTA
Abstract（参考訳）: グラフトランスフォーマー(GT)は最近、長距離依存とグラフ帰納バイアスの両方を効果的にキャプチャすることで、グラフ領域で大きな成功を収めた。しかし, これらの手法は, 1) 多視点情報(位置, 構造, 属性)を結合することにより, 伝搬過程の柔軟な利用と解釈可能性を妨げるマルチビューカオスという2つの大きな課題に直面している。 2) ローカルメッセージパッシングとグローバルアテンションの結合から生じるローカル・グローバル・カオスは,過度な適合と過剰なグローバル化の問題を引き起こす。これらの課題に対処するために、我々はGTの高レベルな分離された視点を提案し、これらを3つの構成要素と2つの相互作用レベル(位置的注意、構造的注意、属性的注意)に分割し、局所的およびグローバルな相互作用と並行して扱う。この分離された視点に基づいて、我々はDeGTAというグラフトリプルアテンションネットワークを設計し、多視点アテンションを別々に計算し、多視点ローカルおよびグローバル情報を適応的に統合する。このアプローチには,解釈可能性の向上,フレキシブルな設計,ローカル情報とグローバル情報の適応的な統合という,3つの大きなメリットがある。大規模な実験を通じて、DeGTAはノード分類やグラフ分類など、さまざまなデータセットやタスクにわたる最先端のパフォーマンスを達成する。包括的アブレーション研究は、デカップリングが性能の向上と解釈可能性の向上に不可欠であることを示した。私たちのコードは、https://github.com/wangxiaotang0906/DeGTAで利用可能です。

関連論文リスト

SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。本研究では,一層伝播を一層伝播に還元できることを示す。これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
論文参考訳（メタデータ） (2024-09-13T17:37:34Z)
Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
論文参考訳（メタデータ） (2024-06-18T13:35:25Z)
Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文参考訳（メタデータ） (2023-12-18T11:19:23Z)
Transitivity-Preserving Graph Representation Learning for Bridging Local Connectivity and Role-based Similarity [2.5252594834159643]
局所的およびグローバルな構造情報を固定長ベクトル表現に統合するUnified Graph Transformer Networks (UGT)を提案する。まず、UGTは各ノードの局所的な部分構造を特定し、各ノードの$k$ホップ近傍の特徴を集約することによって局所構造を学習する。第三に、UGTは自己アテンションを通じて統一表現を学び、構造距離とノードペア間の$p$ステップ遷移確率を符号化する。
論文参考訳（メタデータ） (2023-08-18T12:49:57Z)
Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文参考訳（メタデータ） (2023-05-29T04:51:09Z)
Interweaved Graph and Attention Network for 3D Human Pose Estimation [15.699524854176644]
IGANet(Interweaved Graph and Attention Network)を提案する。 IGANetは、グラフ畳み込みネットワーク(GCN)とアテンション間の双方向通信を可能にする。我々はIGAモジュールを導入し、GCNのローカル情報とGCNのグローバル情報とをアテンションから注入する。
論文参考訳（メタデータ） (2023-04-27T09:21:15Z)
DigNet: Digging Clues from Local-Global Interactive Graph for Aspect-level Sentiment Classification [0.685316573653194]
アスペクトレベルの感情分類(ASC)では、最先端モデルは構文グラフまたは関係グラフをエンコードする。我々は,対話的なエッジを通じて2つのグラフを縫い合わせることで,その利点をマージする,新しいローカル・グローバル・インタラクティブグラフを設計する。本稿では,DigNetと呼ばれる新しいニューラルネットワークを提案する。
論文参考訳（メタデータ） (2022-01-04T05:34:02Z)
Graph Representation Learning via Contrasting Cluster Assignments [57.87743170674533]
GRCCAと呼ばれるクラスタ割り当てを対比して、教師なしグラフ表現モデルを提案する。クラスタリングアルゴリズムとコントラスト学習を組み合わせることで、局所的およびグローバルな情報を合成的にうまく活用する動機付けがある。 GRCCAは、ほとんどのタスクにおいて強力な競争力を持っている。
論文参考訳（メタデータ） (2021-12-15T07:28:58Z)
Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
論文参考訳（メタデータ） (2020-09-19T09:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。