論文の概要: Billion-Scale Graph Foundation Models

• arxiv url: http://arxiv.org/abs/2602.04768v1
• Date: Wed, 04 Feb 2026 17:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.648872
• Title: Billion-Scale Graph Foundation Models
• Title（参考訳）: 数十億ドル規模のグラフ基礎モデル
• Authors: Maya Bechler-Speicher, Yoel Gottlieb, Andrey Isakov, David Abensur, Ami Tavory, Daniel Haimovich, Ido Guy, Udi Weinsberg,
• Abstract要約: Graph Billion-Foundation-Fusion (GraphBFF)は、Graph Foundation Modelsを構築するための最初のエンドツーエンドのレシピである。 レシピの中心にあるのはGraphBFF Transformerだ。 また,GraphBFFは,最大31個のPRAUCポイントで,ショット数の設定を含む顕著なゼロショットとプロファイリングのパフォーマンスを実現していることを示す。
• 参考スコア（独自算出の注目度）: 8.817468977927028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph-structured data underpins many critical applications. While foundation models have transformed language and vision via large-scale pretraining and lightweight adaptation, extending this paradigm to general, real-world graphs is challenging. In this work, we present Graph Billion- Foundation-Fusion (GraphBFF): the first end-to-end recipe for building billion-parameter Graph Foundation Models (GFMs) for arbitrary heterogeneous, billion-scale graphs. Central to the recipe is the GraphBFF Transformer, a flexible and scalable architecture designed for practical billion-scale GFMs. Using the GraphBFF, we present the first neural scaling laws for general graphs and show that loss decreases predictably as either model capacity or training data scales, depending on which factor is the bottleneck. The GraphBFF framework provides concrete methodologies for data batching, pretraining, and fine-tuning for building GFMs at scale. We demonstrate the effectiveness of the framework with an evaluation of a 1.4 billion-parameter GraphBFF Transformer pretrained on one billion samples. Across ten diverse, real-world downstream tasks on graphs unseen during training, spanning node- and link-level classification and regression, GraphBFF achieves remarkable zero-shot and probing performance, including in few-shot settings, with large margins of up to 31 PRAUC points. Finally, we discuss key challenges and open opportunities for making GFMs a practical and principled foundation for graph learning at industrial scale.
• Abstract（参考訳）: グラフ構造化データは、多くの重要なアプリケーションを支える。 基礎モデルは、大規模な事前学習と軽量適応を通じて言語とビジョンを変換してきたが、このパラダイムを一般的な現実世界のグラフに拡張することは困難である。 本研究では, グラフ億基本融合(Graph Billion-Foundation-Fusion: GraphBFF: Graph Billion-Foundation-Fusion; GraphBFF)について述べる。 レシピの中心にあるのはGraphBFF Transformerだ。 GraphBFFを用いて、一般グラフに対する最初のニューラルスケーリング法則を示し、どの因子がボトルネックであるかによって、損失がモデルキャパシティまたはトレーニングデータスケールとして予測可能に減少することを示す。 GraphBFFフレームワークは、大規模にGFMを構築するためのデータバッチ、事前トレーニング、微調整のための具体的な方法論を提供する。 10億個のサンプルで事前学習した14億パラメータグラフBFF変換器の評価により,本フレームワークの有効性を実証した。 トレーニング中、ノードレベルの分類とレグレッションにまたがる、トレーニング中のグラフ上の10のさまざまな現実世界のダウンストリームタスクの中で、GraphBFFは、数ショット設定を含む顕著なゼロショットとプロファイリングのパフォーマンスを達成し、最大31のPRAUCポイントのマージンを持つ。 最後に,GFMを産業規模でグラフ学習の実践的で原則的な基盤とする上で,重要な課題とオープンな機会について論じる。

関連論文リスト

• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• GraphPFN: A Prior-Data Fitted Graph Foundation Model [27.47522328312435]
  大規模データセットで事前訓練された基礎モデルは、自然言語処理やコンピュータビジョンといった分野に変化をもたらした。 ノードレベルの予測のための事前データ付きネットワークであるGraphPFNを提案する。 最大50,000ノードのさまざまな実世界のグラフデータセットでは、GraphPFNは、微調整後の強いコンテキスト内学習のパフォーマンスと最先端の結果を示している。
  論文  参考訳（メタデータ） (2025-09-25T19:47:49Z)
• G1: Teaching LLMs to Reason on Graphs with Reinforcement Learning [58.73279333365234]
  合成グラフ理論タスクにおける強化学習(RL)はグラフ推論能力を著しく拡張することができる。 RL on ErdosでG1はグラフ推論の大幅な改善を実現し、微調整された3BモデルはQwen2.5-72B-Instruct(24倍)よりも優れています。 我々の研究は、グラフ理論上のRLでLLMを微調整することで、強力なグラフ推論器を構築するための効率的でスケーラブルな経路を提供する。
  論文  参考訳（メタデータ） (2025-05-24T04:33:41Z)
• Personalized One-shot Federated Graph Learning for Heterogeneous Clients [11.438281045702976]
  Federated Graph Learning (FGL)は、クライアントのニーズに合わせてパーソナライズされたモデルをトレーニングすることで、モデルユーティリティの向上を目指している。 既存のpFGL法では、異種グラフの下で多数の通信ラウンドが必要となる。 ワンショットフェデレートラーニング(OFL)は、単一のラウンドでのコラボレーションを可能にするが、グラフデータには有効ではない。 ローカルな個人情報とグローバルな洞察を適応的にバランスさせる2段階のパーソナライズドトレーニングアプローチを導入する。
  論文  参考訳（メタデータ） (2024-11-18T05:59:29Z)
• Generalizing Graph Transformers Across Diverse Graphs and Tasks via Pre-training [58.17760496884059]
  PGT(Pre-trained Graph Transformer)と呼ばれるスケーラブルなトランスフォーマーベースのグラフ事前学習フレームワークを導入する。 従来のオートエンコーダアーキテクチャとは違って,デコーダを機能拡張に用いる新しい戦略を提案する。 我々のフレームワークは1100万のノードと160億のエッジを持つ、公開可能なogbn-papers100Mデータセットでテストされ、最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-07-04T14:14:09Z)
• Position: Graph Foundation Models are Already Here [53.737868336014735]
  グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。 グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。 この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
  論文  参考訳（メタデータ） (2024-02-03T17:24:36Z)
• Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
  グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。 FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。 ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-19T18:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。