論文の概要: AMPNet: Attention as Message Passing for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2210.09475v1
- Date: Mon, 17 Oct 2022 23:44:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 15:26:24.076449
- Title: AMPNet: Attention as Message Passing for Graph Neural Networks
- Title(参考訳): AMPNet: グラフニューラルネットワークのメッセージパッシングとしての注意
- Authors: S. A. Rizvi, N. Nguyen, H. Lyu, B. Christensen, J. O. Caro, E.
Zappala, M. Brbic, R. M. Dhodapkar, D. V. Dijk
- Abstract要約: AMPNetは、グラフ構造化データ内の異なる空間位置間の特徴レベルの相互作用を明らかにするための一般的なグラフニューラルネットワーク(GNN)アーキテクチャである。
本フレームワークでは,異なるノード間の特徴的相互作用に基づいて,メッセージパッシング中に多面的注意操作を適用した。
我々は,機能相互作用に基づくノード状態の循環パターンを復元するフレームワークの能力をテストするために,サイクリックセルオートマトンに基づくベンチマークを開発した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature-level interactions between nodes can carry crucial information for
understanding complex interactions in graph-structured data. Current
interpretability techniques, however, are limited in their ability to capture
feature-level interactions between different nodes. In this work, we propose
AMPNet, a general Graph Neural Network (GNN) architecture for uncovering
feature-level interactions between different spatial locations within
graph-structured data. Our framework applies a multiheaded attention operation
during message-passing to contextualize messages based on the feature
interactions between different nodes. We evaluate AMPNet on several benchmark
and real-world datasets, and develop a synthetic benchmark based on cyclic
cellular automata to test the ability of our framework to recover cyclic
patterns in node states based on feature-interactions. We also propose several
methods for addressing the scalability of our architecture to large graphs,
including subgraph sampling during training and node feature downsampling.
- Abstract(参考訳): ノード間の機能レベルの相互作用は、グラフ構造化データの複雑な相互作用を理解する上で重要な情報をもたらす。
しかし、現在の解釈技術は、異なるノード間の機能レベルのインタラクションをキャプチャする能力に制限がある。
本研究では,グラフ構造化データ内の異なる空間位置間の特徴レベルの相互作用を明らかにするための汎用グラフニューラルネットワーク(GNN)アーキテクチャであるAMPNetを提案する。
本フレームワークでは,異なるノード間の特徴的相互作用に基づいてメッセージのコンテキスト化を行う。
AMPNetを複数のベンチマークおよび実世界のデータセットで評価し,機能的相互作用に基づくノード状態の循環パターンの復元能力をテストするために,サイクリックセルオートマトンに基づく合成ベンチマークを開発した。
また、トレーニング中のサブグラフサンプリングやノード機能ダウンサンプリングなど、大規模グラフに対するアーキテクチャのスケーラビリティに対処するいくつかの方法を提案する。
関連論文リスト
- UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - Interpretable Fine-Tuning for Graph Neural Network Surrogate Models [0.0]
本研究は,グラフニューラルネットワーク(GNN)の解釈可能な微調整戦略を導入する。
最終結果は、予測タスクに本質的に関連付けられている部分グラフに対応する物理空間内の領域を分離する強化された微調整モデルである。
正規化手順により、微調整されたGNNを使用して、予測予測エラーの大多数に対応するグラフノードを推論時に特定することもできる。
論文 参考訳(メタデータ) (2023-11-13T18:37:07Z) - Towards Graph Foundation Models: A Survey and Beyond [68.35562541338865]
ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。
基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。
本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
論文 参考訳(メタデータ) (2023-10-18T09:31:21Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳(メタデータ) (2023-06-20T03:33:22Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳(メタデータ) (2023-04-05T07:28:33Z) - A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。
提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。
実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-06-22T12:41:19Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - Bag of Tricks of Semi-Supervised Classification with Graph Neural
Networks [0.0]
本稿では,まず,既存の改良点の集合を概説し,モデル設計とラベル使用に関するいくつかの新しい手法を提案する。
アブレーション研究を通じて,最終モデル精度への影響を実証的に評価し,モデルアーキテクチャの改善による利益を上回る程度まで,様々なgnnモデルを大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-03-24T17:24:26Z) - Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。
既存のFSCモデルに対する新しいトレーニング手法を提案する。
説明誘導学習はモデル一般化を効果的に改善することを示す。
論文 参考訳(メタデータ) (2020-07-17T07:28:08Z) - Causality-aware counterfactual confounding adjustment for feature
representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。
深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文 参考訳(メタデータ) (2020-04-20T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。