論文の概要: Training Graph Foundation Models on The Web Graph
- arxiv url: http://arxiv.org/abs/2609.30894v1
- Date: Fri, 25 Sep 2026 07:02:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.263245
- Title: Training Graph Foundation Models on The Web Graph
- Title(参考訳): Webグラフによるグラフ基礎モデルのトレーニング
- Abstract要約: Acaciaは、Webグラフ上でトレーニングされたグラフ基盤モデルである。
任意の特徴次元とセマンティクスを、追加のトレーニングなしでサポートする。
コンテキスト内学習機能を備え、事前訓練されたLLMに依存しない。
- 参考スコア(独自算出の注目度): 15.107423134754859
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Acacia, a graph foundation model, trained on the web graph. Acacia (i) supports arbitrary feature dimensionalities and semantics without additional training, (ii) supports a wide range of tasks, including node classification, link prediction, node clustering, and graph generation, without additional training, (iii) has in-context learning capabilities, and (iv) does not rely on pretrained LLMs. In particular, existing graph foundation models often require training additional classification heads or feature projectors to accommodate new graphs or new labels, whereas Acacia does not. Moreover, existing graph foundation models often gain their capabilities by being stitched together with pretrained LLMs, whereas Acacia is trained from scratch using only the Common Crawl web graph. This is also an important result because it provides evidence that graph models can acquire emergent capabilities from scratch like LLMs.
- Abstract(参考訳): Webグラフでトレーニングされたグラフ基盤モデルであるAcaciaを紹介します。
アカシア
(i)追加訓練なしで任意の特徴次元と意味学をサポートする。
(ii) 追加のトレーニングなしで、ノード分類、リンク予測、ノードクラスタリング、グラフ生成を含む幅広いタスクをサポートする。
三 文脈内学習能力、及び
(iv) 事前訓練されたLLMに依存しない。
特に、既存のグラフ基盤モデルは、新しいグラフや新しいラベルに対応するために、追加の分類ヘッドや特徴プロジェクタを訓練する必要があることが多い。
さらに、既存のグラフ基盤モデルは、トレーニング済みのLLMと縫合することで、能力を得ることが多いが、AcaciaはCommon Crawl Webグラフのみを使用して、ゼロからトレーニングされている。
これはまた、グラフモデルがLSMのようなスクラッチから創発的能力を獲得できる証拠を提供するため、重要な結果である。
関連論文リスト
- GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。
textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
論文 参考訳(メタデータ) (2025-10-06T08:09:15Z) - Graph Prompting for Graph Learning Models: Recent Advances and Future Directions [75.7773954442738]
「事前学習・適応」スキームは、まずラベルなしグラフデータに基づくグラフ学習モデルを自己教師型で事前訓練する。
グラフプロンプトは、トレーニング可能なプロンプトを学習し、事前トレーニングされたグラフ学習モデルを変更しない、有望なアプローチとして出現する。
論文 参考訳(メタデータ) (2025-06-10T01:27:19Z) - Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
タスクツリーを用いたグラフのクロスタスク一般化のための新しい手法を提案する。
本稿では,グラフニューラルネットワーク(GNN)を多種多様なタスクツリー上で事前学習することにより,伝達可能な知識を誘導することを示す。
これにより、最小限の微調整で下流タスクに効率的に適応できる。
論文 参考訳(メタデータ) (2024-12-21T02:07:43Z) - A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective [14.403179370556332]
グラフ自己教師型学習(SSL)は、グラフ基礎モデル(GFM)を事前学習するためのゴートメソッドとなった
本稿では,自己教師付きグラフモデルを用いた知識に基づく分類法を提案する。
論文 参考訳(メタデータ) (2024-03-24T13:10:09Z) - UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。
本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。
本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳(メタデータ) (2023-01-14T09:15:49Z) - Graph Few-shot Class-incremental Learning [25.94168397283495]
新しいクラスを段階的に学習する能力は、すべての現実世界の人工知能システムにとって不可欠である。
本稿では,グラフFCL(Graph Few-shot Class-incremental)問題について検討する。
基本クラスから繰り返しタスクをサンプリングすることでグラフ擬似インクリメンタルラーニングパラダイムを提案する。
本稿では,タスクレベルの注意とノードクラスのプロトタイプから計算したタスク依存型正規化器について述べる。
論文 参考訳(メタデータ) (2021-12-23T19:46:07Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。