論文の概要: AnyGraph: Graph Foundation Model in the Wild

• arxiv url: http://arxiv.org/abs/2408.10700v1
• Date: Tue, 20 Aug 2024 09:57:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 14:14:58.104668
• Title: AnyGraph: Graph Foundation Model in the Wild
• Title（参考訳）: AnyGraph: ワイルドなグラフ基盤モデル
• Authors: Lianghao Xia, Chao Huang,
• Abstract要約: グラフ基盤モデルは、グラフデータから堅牢で一般化可能な表現を学ぶ可能性を提供します。 本研究では,主要な課題に対処するために設計された統一グラフモデルであるAnyGraphについて検討する。 多様な38のグラフデータセットに対する実験は、AnyGraphの強力なゼロショット学習性能を実証した。
• 参考スコア（独自算出の注目度）: 16.313146933922752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing ubiquity of relational data structured as graphs has underscored the need for graph learning models with exceptional generalization capabilities. However, current approaches often struggle to effectively extract generalizable insights, frequently requiring extensive fine-tuning and limiting their versatility. Graph foundation models offer a transformative solution, with the potential to learn robust, generalizable representations from graph data. This enables more effective and adaptable applications across a wide spectrum of tasks and domains. In this work, we investigate a unified graph model, AnyGraph, designed to handle key challenges: i) Structure Heterogenity. Addressing distribution shift in graph structural information; ii) Feature Heterogenity. Handling diverse feature representation spaces across graph datasets; iii) Fast Adaptation. Efficiently adapting the model to new graph domains; iv) Scaling Law Emergence. Enabling the model to exhibit scaling law behavior, where its performance scales favorably with the amount of data and parameter sizes. To tackle these critical challenges, we build the AnyGraph upon a Graph Mixture-of-Experts (MoE) architecture. This approach empowers the model to effectively manage both the in-domain and cross-domain distribution shift concerning structure-level and feature-level heterogeneity. Furthermore, a lightweight graph expert routing mechanism is proposed to facilitate AnyGraph's fast adaptability to new data and domains. Our extensive experiments on diverse 38 graph datasets have demonstrated the strong zero-shot learning performance of AnyGraph across diverse graph domains with significant distribution shift. Furthermore, we have validated the model's fast adaptation ability and scaling law emergence, showcasing its versatility.
• Abstract（参考訳）: グラフとして構造化されたリレーショナルデータの普及は、例外的な一般化機能を備えたグラフ学習モデルの必要性を暗示している。 しかし、現在のアプローチは、しばしば効果的に一般化可能な洞察を引き出すのに苦労し、しばしば広範囲の微調整を必要とし、それらの汎用性を制限する。 グラフ基盤モデルは、グラフデータから堅牢で一般化可能な表現を学習する可能性を備えた変換ソリューションを提供する。 これにより、タスクやドメインの幅広い範囲にわたって、より効果的で適応可能なアプリケーションが可能になる。 本研究では,主要な課題に対処するために設計された統一グラフモデルであるAnyGraphについて検討する。 一 構造異質性 グラフ構造情報における分布変化の対応 二 特徴不均一性 グラフデータセットにまたがる多様な特徴表現空間の処理 三 適応の速さ モデルを新しいグラフ領域に効果的に適応させる。 四 法施行の規模を拡大すること。 データ量とパラメータサイズに応じて、そのパフォーマンスが好適にスケールする、スケーリング法則の振る舞いを示すモデルを構築する。 これらの重要な課題に対処するために、我々はGraph Mixture-of-Experts (MoE)アーキテクチャに基づいてAnyGraphを構築します。 このアプローチにより、構造レベルと特徴レベルの不均一性に関して、ドメイン内およびドメイン間の分散シフトを効果的に管理することが可能になる。 さらに、AnyGraphの新しいデータやドメインへの高速な適応を容易にするために、軽量なグラフ専門家ルーティング機構が提案されている。 多様な38のグラフデータセットに関する広範な実験により、AnyGraphが分散シフトの大きい多様なグラフドメインにまたがる強力なゼロショット学習性能が実証された。 さらに、モデルの高速適応能力とスケーリング法の出現を検証し、その汎用性を実証した。

関連論文リスト

• RAGraph: A General Retrieval-Augmented Graph Learning Framework [35.25522856244149]
  我々は、RAGraph(General Retrieval-Augmented Graph Learning)と呼ばれる新しいフレームワークを紹介する。 RAGraphは、一般的なグラフ基盤モデルに外部グラフデータを導入し、目に見えないシナリオにおけるモデルの一般化を改善する。 推論中、RAGraphは下流タスクにおける重要な類似性に基づいて、似たようなおもちゃのグラフを順応的に検索する。
  論文  参考訳（メタデータ） (2024-10-31T12:05:21Z)
• GraphFM: A Scalable Framework for Multi-Graph Pretraining [2.882104808886318]
  本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。 我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。 以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
  論文  参考訳（メタデータ） (2024-07-16T16:51:43Z)
• OpenGraph: Towards Open Graph Foundation Models [20.401374302429627]
  グラフニューラルネットワーク(GNN)は、構造情報を符号化するための有望な技術として登場した。 主な課題は、異なる性質を持つグラフデータを一般化することの難しさである。 この課題に対処するために,OpenGraphと呼ばれる新しいグラフ基盤モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-02T08:05:03Z)
• GraphControl: Adding Conditional Control to Universal Graph Pre-trained Models for Graph Domain Transfer Learning [28.04023419006392]
  グラフ自己教師型アルゴリズムは、豊富なラベルのないグラフデータから一般的な知識を取得することに成功している。 類似しているように見える領域の異なるグラフは、属性のセマンティクスの点で大きく異なる。 我々は、より優れたグラフドメイン転送学習を実現するために、ComputerNetによってモチベーションを得たGraphControlと呼ばれる革新的なデプロイモジュールを導入する。
  論文  参考訳（メタデータ） (2023-10-11T10:30:49Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• GraphOpt: Learning Optimization Models of Graph Formation [72.75384705298303]
  本稿では,グラフ構造形成の暗黙的モデルを学ぶエンドツーエンドフレームワークを提案し,その基盤となる最適化機構を明らかにする。 学習した目的は、観測されたグラフプロパティの説明として機能し、ドメイン内の異なるグラフを渡すために自分自身を貸すことができる。 GraphOptは、グラフ内のリンク生成をシーケンシャルな意思決定プロセスとして、最大エントロピー逆強化学習アルゴリズムを用いて解決する。
  論文  参考訳（メタデータ） (2020-07-07T16:51:39Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)
• Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
  グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。 グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。 本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-02-20T10:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。