論文の概要: AMPNet: Attention as Message Passing for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2210.09475v2
- Date: Fri, 6 Oct 2023 05:28:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 16:12:19.060642
- Title: AMPNet: Attention as Message Passing for Graph Neural Networks
- Title(参考訳): AMPNet: グラフニューラルネットワークのメッセージパッシングとしての注意
- Authors: Syed Asad Rizvi, Nhi Nguyen, Haoran Lyu, Benjamin Christensen, Josue
Ortega Caro, Antonio H. O. Fonseca, Emanuele Zappala, Maryam Bagherian,
Christopher Averill, Chadi G. Abdallah, Rex Ying, Maria Brbic, Rahul Madhav
Dhodapkar, David van Dijk
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現学習フレームワークとして登場した。
本稿では,ノード毎の個々の機能を符号化したGNNのためのアテンションベースのメッセージパッシング層を提案する。
実世界の生物システムに対する広範なベンチマークを通じてAMPNetの能力を実証する。
- 参考スコア(独自算出の注目度): 10.444056284533772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) have emerged as a powerful representation
learning framework for graph-structured data. A key limitation of conventional
GNNs is their representation of each node with a singular feature vector,
potentially overlooking intricate details about individual node features. Here,
we propose an Attention-based Message-Passing layer for GNNs (AMPNet) that
encodes individual features per node and models feature-level interactions
through cross-node attention during message-passing steps. We demonstrate the
abilities of AMPNet through extensive benchmarking on real-world biological
systems such as fMRI brain activity recordings and spatial genomic data,
improving over existing baselines by 20% on fMRI signal reconstruction, and
further improving another 8% with positional embedding added. Finally, we
validate the ability of AMPNet to uncover meaningful feature-level interactions
through case studies on biological systems. We anticipate that our architecture
will be highly applicable to graph-structured data where node entities
encompass rich feature-level information.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現学習フレームワークとして登場した。
従来のgnnの重要な制限は、特異な特徴ベクトルを持つ各ノードの表現であり、個々のノードの特徴に関する複雑な詳細を見渡す可能性がある。
本稿では,ノード毎の個々の特徴をエンコードし,メッセージパッシングステップにおけるクロスノードによる機能レベルのインタラクションをモデル化する,gnn(ampnet)のためのアテンションベースのメッセージパッシング層を提案する。
AMPNetは,fMRI脳活動記録や空間ゲノムデータなどの実世界の生物システムを広範囲にベンチマークし,fMRI信号再構成において既存のベースラインを20%改善し,さらに位置埋め込みを付加して8%向上した。
最後に,AMPNetが生物学的システムのケーススタディを通じて意味のある特徴レベルの相互作用を明らかにする能力を検証する。
我々は,ノードエンティティが豊富な特徴レベル情報を含むグラフ構造化データに対して,我々のアーキテクチャが高度に適用可能であることを期待する。
関連論文リスト
- UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - Interpretable Fine-Tuning for Graph Neural Network Surrogate Models [0.0]
本研究は,グラフニューラルネットワーク(GNN)の解釈可能な微調整戦略を導入する。
最終結果は、予測タスクに本質的に関連付けられている部分グラフに対応する物理空間内の領域を分離する強化された微調整モデルである。
正規化手順により、微調整されたGNNを使用して、予測予測エラーの大多数に対応するグラフノードを推論時に特定することもできる。
論文 参考訳(メタデータ) (2023-11-13T18:37:07Z) - Towards Graph Foundation Models: A Survey and Beyond [68.35562541338865]
ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。
基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。
本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
論文 参考訳(メタデータ) (2023-10-18T09:31:21Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳(メタデータ) (2023-06-20T03:33:22Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳(メタデータ) (2023-04-05T07:28:33Z) - A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。
提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。
実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-06-22T12:41:19Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - Bag of Tricks of Semi-Supervised Classification with Graph Neural
Networks [0.0]
本稿では,まず,既存の改良点の集合を概説し,モデル設計とラベル使用に関するいくつかの新しい手法を提案する。
アブレーション研究を通じて,最終モデル精度への影響を実証的に評価し,モデルアーキテクチャの改善による利益を上回る程度まで,様々なgnnモデルを大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-03-24T17:24:26Z) - Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。
既存のFSCモデルに対する新しいトレーニング手法を提案する。
説明誘導学習はモデル一般化を効果的に改善することを示す。
論文 参考訳(メタデータ) (2020-07-17T07:28:08Z) - Causality-aware counterfactual confounding adjustment for feature
representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。
深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文 参考訳(メタデータ) (2020-04-20T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。