論文の概要: FIMP: Foundation Model-Informed Message Passing for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2210.09475v5
• Date: Mon, 1 Jul 2024 22:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 10:36:26.878543
• Title: FIMP: Foundation Model-Informed Message Passing for Graph Neural Networks
• Title（参考訳）: FIMP: グラフニューラルネットワークのための基礎モデルインフォームドメッセージパッシング
• Authors: Syed Asad Rizvi, Nazreen Pallikkavaliyaveetil, David Zhang, Zhuoyang Lyu, Nhi Nguyen, Haoran Lyu, Benjamin Christensen, Josue Ortega Caro, Antonio H. O. Fonseca, Emanuele Zappala, Maryam Bagherian, Christopher Averill, Chadi G. Abdallah, Amin Karbasi, Rex Ying, Maria Brbic, Rahul Madhav Dhodapkar, David van Dijk,
• Abstract要約: Foundation-Informed Message Passing (FIMP)はグラフニューラルネットワーク(GNN)メッセージパッシングフレームワークである。 本研究では,基礎モデルの自己注意層をグラフ上で効果的に再利用し,ノード間アテンションに基づくメッセージパッシングを行うことを示す。
• 参考スコア（独自算出の注目度）: 36.648927429221466
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Foundation models have achieved remarkable success across many domains, relying on pretraining over vast amounts of data. Graph-structured data often lacks the same scale as unstructured data, making the development of graph foundation models challenging. In this work, we propose Foundation-Informed Message Passing (FIMP), a Graph Neural Network (GNN) message-passing framework that leverages pretrained non-textual foundation models in graph-based tasks. We show that the self-attention layers of foundation models can effectively be repurposed on graphs to perform cross-node attention-based message-passing. Our model is evaluated on a real-world image network dataset and two biological applications (single-cell RNA sequencing data and fMRI brain activity recordings) in both finetuned and zero-shot settings. FIMP outperforms strong baselines, demonstrating that it can effectively leverage state-of-the-art foundation models in graph tasks.
• Abstract（参考訳）: ファンデーションモデルは、大量のデータに対する事前トレーニングに依存して、多くの領域で顕著な成功を収めています。 グラフ構造化データには、非構造化データと同じスケールがないことが多いため、グラフ基盤モデルの開発は困難である。 本研究では,グラフベースタスクにおける事前学習された非テキスト基盤モデルを活用するグラフニューラルネットワーク(GNN)メッセージパッシングフレームワークであるFoundation-Informed Message Passing (FIMP)を提案する。 本研究では,基礎モデルの自己注意層をグラフ上で効果的に再利用し,ノード間アテンションに基づくメッセージパッシングを行うことを示す。 実世界の画像ネットワークデータセットと2つの生物学的応用(単細胞RNAシークエンシングデータとfMRI脳活動記録)を微調整・ゼロショットの両方で評価した。 FIMPは強力なベースラインよりも優れており、グラフタスクで最先端の基礎モデルを効果的に活用できることを実証している。

関連論文リスト

• GOFA: A Generative One-For-All Model for Joint Graph Language Modeling [38.267339613261996]
  この問題を解決するために,新たに生成グラフ言語モデルGOFAを提案する。 GOFAは、新たに提案されたグラフレベルの次単語予測、質問応答、構造的タスクに基づいて事前訓練されている。 モデルは様々な下流タスクに基づいて評価され、ゼロショットシナリオにおける構造的および文脈的問題を解く強力な能力を示す。
  論文  参考訳（メタデータ） (2024-07-12T22:23:51Z)
• Efficient Model-Stealing Attacks Against Inductive Graph Neural Networks [4.011211534057715]
  グラフニューラルネットワーク(GNN)は、グラフ構造で組織された実世界のデータを処理するための強力なツールとして認識されている。 事前に定義されたグラフ構造に依存しないグラフ構造化データの処理を可能にするインダクティブGNNは、広範囲のアプリケーションにおいてますます重要になりつつある。 本稿では,誘導型GNNに対して教師なしモデルステアリング攻撃を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-20T18:01:15Z)
• UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
  Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。 本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。 本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• Position: Graph Foundation Models are Already Here [53.737868336014735]
  グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。 グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。 この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
  論文  参考訳（メタデータ） (2024-02-03T17:24:36Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• Addressing the Impact of Localized Training Data in Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。 本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。 本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T11:04:22Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Model Inversion Attacks against Graph Neural Networks [65.35955643325038]
  グラフニューラルネットワーク(GNN)に対するモデル反転攻撃について検討する。 本稿では,プライベートトレーニンググラフデータを推測するためにGraphMIを提案する。 実験の結果,このような防御効果は十分ではないことが示され,プライバシー攻撃に対するより高度な防御が求められている。
  論文  参考訳（メタデータ） (2022-09-16T09:13:43Z)
• GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
  GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。 具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。 エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
  論文  参考訳（メタデータ） (2021-06-05T07:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。