論文の概要: AMPNet: Attention as Message Passing for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2210.09475v2
• Date: Fri, 6 Oct 2023 05:28:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 16:12:19.060642
• Title: AMPNet: Attention as Message Passing for Graph Neural Networks
• Title（参考訳）: AMPNet: グラフニューラルネットワークのメッセージパッシングとしての注意
• Authors: Syed Asad Rizvi, Nhi Nguyen, Haoran Lyu, Benjamin Christensen, Josue Ortega Caro, Antonio H. O. Fonseca, Emanuele Zappala, Maryam Bagherian, Christopher Averill, Chadi G. Abdallah, Rex Ying, Maria Brbic, Rahul Madhav Dhodapkar, David van Dijk
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現学習フレームワークとして登場した。 本稿では,ノード毎の個々の機能を符号化したGNNのためのアテンションベースのメッセージパッシング層を提案する。 実世界の生物システムに対する広範なベンチマークを通じてAMPNetの能力を実証する。
• 参考スコア（独自算出の注目度）: 10.444056284533772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) have emerged as a powerful representation learning framework for graph-structured data. A key limitation of conventional GNNs is their representation of each node with a singular feature vector, potentially overlooking intricate details about individual node features. Here, we propose an Attention-based Message-Passing layer for GNNs (AMPNet) that encodes individual features per node and models feature-level interactions through cross-node attention during message-passing steps. We demonstrate the abilities of AMPNet through extensive benchmarking on real-world biological systems such as fMRI brain activity recordings and spatial genomic data, improving over existing baselines by 20% on fMRI signal reconstruction, and further improving another 8% with positional embedding added. Finally, we validate the ability of AMPNet to uncover meaningful feature-level interactions through case studies on biological systems. We anticipate that our architecture will be highly applicable to graph-structured data where node entities encompass rich feature-level information.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現学習フレームワークとして登場した。 従来のgnnの重要な制限は、特異な特徴ベクトルを持つ各ノードの表現であり、個々のノードの特徴に関する複雑な詳細を見渡す可能性がある。 本稿では,ノード毎の個々の特徴をエンコードし,メッセージパッシングステップにおけるクロスノードによる機能レベルのインタラクションをモデル化する,gnn(ampnet)のためのアテンションベースのメッセージパッシング層を提案する。 AMPNetは,fMRI脳活動記録や空間ゲノムデータなどの実世界の生物システムを広範囲にベンチマークし,fMRI信号再構成において既存のベースラインを20%改善し,さらに位置埋め込みを付加して8%向上した。 最後に,AMPNetが生物学的システムのケーススタディを通じて意味のある特徴レベルの相互作用を明らかにする能力を検証する。 我々は,ノードエンティティが豊富な特徴レベル情報を含むグラフ構造化データに対して,我々のアーキテクチャが高度に適用可能であることを期待する。

関連論文リスト

• GOFA: A Generative One-For-All Model for Joint Graph Language Modeling [38.267339613261996]
  この問題を解決するために,新たに生成グラフ言語モデルGOFAを提案する。 GOFAは、新たに提案されたグラフレベルの次単語予測、質問応答、構造的タスクに基づいて事前訓練されている。 モデルは様々な下流タスクに基づいて評価され、ゼロショットシナリオにおける構造的および文脈的問題を解く強力な能力を示す。
  論文  参考訳（メタデータ） (2024-07-12T22:23:51Z)
• Efficient Model-Stealing Attacks Against Inductive Graph Neural Networks [4.552065156611815]
  グラフニューラルネットワーク(GNN)は、グラフ構造で組織された実世界のデータを処理するための強力なツールとして認識されている。 事前に定義されたグラフ構造に依存しないグラフ構造化データの処理を可能にするインダクティブGNNは、広範囲のアプリケーションにおいてますます重要になりつつある。 本稿では,誘導型GNNに対して教師なしモデルステアリング攻撃を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-20T18:01:15Z)
• UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
  Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。 本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。 本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• Position: Graph Foundation Models are Already Here [53.737868336014735]
  グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。 グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。 この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
  論文  参考訳（メタデータ） (2024-02-03T17:24:36Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• Addressing the Impact of Localized Training Data in Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。 本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。 本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T11:04:22Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Model Inversion Attacks against Graph Neural Networks [65.35955643325038]
  グラフニューラルネットワーク(GNN)に対するモデル反転攻撃について検討する。 本稿では,プライベートトレーニンググラフデータを推測するためにGraphMIを提案する。 実験の結果,このような防御効果は十分ではないことが示され,プライバシー攻撃に対するより高度な防御が求められている。
  論文  参考訳（メタデータ） (2022-09-16T09:13:43Z)
• GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
  GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。 具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。 エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
  論文  参考訳（メタデータ） (2021-06-05T07:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。