論文の概要: Toward a Graph Foundation Model: Pre-Training Transformers With Random Walks

• arxiv url: http://arxiv.org/abs/2506.14098v1
• Date: Tue, 17 Jun 2025 01:28:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.283762
• Title: Toward a Graph Foundation Model: Pre-Training Transformers With Random Walks
• Title（参考訳）: グラフ基礎モデルに向けて:ランダムウォークによる事前学習型トランスフォーマー
• Authors: Ziyuan Tang, Jie Chen,
• Abstract要約: 本稿では,Transformerのバックボーンを適応させることにより,多様なグラフデータセットで事前学習したグラフ基盤モデルへのアプローチについて述べる。 この目的に向けた中心的な課題は、シーケンスモデルがどのように異なるサイズと異なるドメインのグラフをエンコードするかである。 本研究では、これらのランダムウォークに対する新しい文脈予測損失を開発し、その表現力を理論的に分析し、近隣とグラフを区別する。
• 参考スコア（独自算出の注目度）: 4.303037819686676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A foundation model like GPT elicits many emergent abilities, owing to the pre-training with broad inclusion of data and the use of the powerful Transformer architecture. While foundation models in natural languages are prevalent, can we build similar models for graphs? This paper describes an approach toward a graph foundation model that is pre-trained with diverse graph datasets by adapting the Transformer backbone. A central challenge toward this end is how a sequence model encodes graphs of varying sizes and from different domains. We propose representing a node as multiple random walks, such that the Transformer can extract node representations from sequences, which in turn form edge and graph representations. We develop a novel context prediction loss for these random walks and theoretically analyze their expressive power in distinguishing neighborhoods and graphs. We also demonstrate the pre-training of our model and its adaptation to downstream tasks, showcasing its potential as a foundation for processing and reasoning with graph-structured data.
• Abstract（参考訳）: GPTのような基盤モデルは、データの広範な包摂による事前トレーニングと強力なTransformerアーキテクチャの使用により、多くの創発的な能力をもたらす。 自然言語の基盤モデルは一般的であるが、グラフの類似モデルを構築することは可能か? 本稿では,Transformerのバックボーンを適応させることにより,多様なグラフデータセットで事前学習したグラフ基盤モデルへのアプローチについて述べる。 この目的に向けた中心的な課題は、シーケンスモデルがどのように異なるサイズと異なるドメインのグラフをエンコードするかである。 本稿では,ノードを複数のランダムウォークとして表現することで,トランスフォーマーがシーケンスからノード表現を抽出し,エッジとグラフ表現を形成する。 本研究では、これらのランダムウォークに対する新しい文脈予測損失を開発し、その表現力を理論的に分析し、近隣とグラフを区別する。 また,本モデルの事前学習と下流タスクへの適応を実証し,グラフ構造化データによる処理と推論の基礎としての可能性を示す。

関連論文リスト

• Equivariance Everywhere All At Once: A Recipe for Graph Foundation Models [13.053266613831447]
  ノードレベルのタスクのためのグラフ基盤モデルを第一原理から設計するためのレシピを提案する。 本研究の基盤となる重要な要素は,グラフ基盤モデルが尊重すべき対称性を体系的に調査することである。 我々は29の実世界のノード分類データセットに関する広範な実験を通して、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2025-06-17T08:05:08Z)
• Graph Generative Pre-trained Transformer [25.611007241470645]
  この研究は、グラフをノードセットとエッジセットのシーケンスとして表現する別のアプローチを再考する。 本稿では,グラフ生成事前学習型変換器(G2PT)について紹介する。 G2PTは、ジェネリックグラフと分子データセットの両方において優れた生成性能を実現する。
  論文  参考訳（メタデータ） (2025-01-02T05:44:11Z)
• Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
  タスクツリーを用いたグラフのクロスタスク一般化のための新しい手法を提案する。 本稿では,グラフニューラルネットワーク(GNN)を多種多様なタスクツリー上で事前学習することにより,伝達可能な知識を誘導することを示す。 これにより、最小限の微調整で下流タスクに効率的に適応できる。
  論文  参考訳（メタデータ） (2024-12-21T02:07:43Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Text Representation Enrichment Utilizing Graph based Approaches: Stock Market Technical Analysis Case Study [0.0]
  本稿では,教師なしノード表現学習モデルとノード分類/エッジ予測モデルを組み合わせたトランスダクティブハイブリッド手法を提案する。 提案手法は,この分野における最初の研究である株式市場の技術分析報告を分類するために開発された。
  論文  参考訳（メタデータ） (2022-11-29T11:26:08Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• Permutation Invariant Graph Generation via Score-Based Generative Modeling [114.12935776726606]
  本稿では,最近のスコアベース生成モデルを用いて,グラフモデリングにおける置換不変手法を提案する。 特に、入力グラフにおけるデータ分布の勾配をモデル化するために、置換同変のマルチチャネルグラフニューラルネットワークを設計する。 グラフ生成では、我々の学習アプローチはベンチマークデータセット上の既存のモデルよりも良い、あるいは同等の結果を得る。
  論文  参考訳（メタデータ） (2020-03-02T03:06:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。