論文の概要: RiemannGFM: Learning a Graph Foundation Model from Riemannian Geometry
- arxiv url: http://arxiv.org/abs/2502.03251v1
- Date: Wed, 05 Feb 2025 15:06:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-06 14:26:55.175157
- Title: RiemannGFM: Learning a Graph Foundation Model from Riemannian Geometry
- Title（参考訳）: RiemannGFM:リーマン幾何学からグラフ基礎モデルを学ぶ
- Authors: Li Sun, Zhenhao Huang, Suyang Zhou, Qiqi Wan, Hao Peng, Philip Yu,
- Abstract要約: グラフニューラルネットワークは、非ユークリッド構造であるグラフデータの学習に優れるが、一般化能力に欠けることが多い。
近年,大規模言語モデルの活用が試みられている。
鍵となる革新は、木やサイクルの単純で効果的な構造語彙の発見である。
- 参考スコア（独自算出の注目度）: 19.299795173943476
- License:
- Abstract: The foundation model has heralded a new era in artificial intelligence, pretraining a single model to offer cross-domain transferability on different datasets. Graph neural networks excel at learning graph data, the omnipresent non-Euclidean structure, but often lack the generalization capacity. Hence, graph foundation model is drawing increasing attention, and recent efforts have been made to leverage Large Language Models. On the one hand, existing studies primarily focus on text-attributed graphs, while a wider range of real graphs do not contain fruitful textual attributes. On the other hand, the sequential graph description tailored for the Large Language Model neglects the structural complexity, which is a predominant characteristic of the graph. Such limitations motivate an important question: Can we go beyond Large Language Models, and pretrain a universal model to learn the structural knowledge for any graph? The answer in the language or vision domain is a shared vocabulary. We observe the fact that there also exist shared substructures underlying graph domain, and thereby open a new opportunity of graph foundation model with structural vocabulary. The key innovation is the discovery of a simple yet effective structural vocabulary of trees and cycles, and we explore its inherent connection to Riemannian geometry. Herein, we present a universal pretraining model, RiemannGFM. Concretely, we first construct a novel product bundle to incorporate the diverse geometries of the vocabulary. Then, on this constructed space, we stack Riemannian layers where the structural vocabulary, regardless of specific graph, is learned in Riemannian manifold offering cross-domain transferability. Extensive experiments show the effectiveness of RiemannGFM on a diversity of real graphs.
- Abstract（参考訳）: ファンデーションモデルは人工知能の新しい時代を予見し、異なるデータセットでクロスドメイン転送性を提供するために単一のモデルを事前訓練した。
グラフニューラルネットワークは、非ユークリッド構造であるグラフデータの学習に優れるが、一般化能力に欠けることが多い。
そのため,グラフ基盤モデルは注目度を高めており,近年では大規模言語モデルの活用が試みられている。
一方、既存の研究では主にテキスト対応グラフに焦点が当てられているが、より広い範囲の実際のグラフには有益なテキスト属性は含まれていない。
一方、大規模言語モデルに適した逐次グラフ記述は、グラフの主要な特徴である構造的複雑さを無視している。
大規模な言語モデルを超えて、任意のグラフの構造的知識を学ぶために普遍的なモデルを事前訓練することはできますか?
言語または視覚領域の答えは、共有語彙である。
グラフ領域を基盤とする共有サブ構造が存在するという事実を観察し、構造語彙を持つグラフ基盤モデルの新たな機会を開く。
鍵となる革新は、木やサイクルの単純で効果的な構造語彙の発見であり、リーマン幾何学に固有の関係を探求する。
ここでは、普遍的な事前学習モデルであるリーマンGFMを提案する。
具体的には,まず,語彙の多様なジオメトリを取り入れた新しい製品バンドルを構築する。
そして、この構築された空間上では、特定のグラフによらず構造語彙がクロスドメイン移動性を提供するリーマン多様体で学習されるリーマン層を積み重ねる。
拡大実験は実グラフの多様性に対するリーマンGFMの有効性を示す。
関連論文リスト
- Towards Graph Foundation Models: The Perspective of Zero-shot Reasoning on Knowledge Graphs [14.392577069212292]
我々は、ゼロショット学習を用いて、多様なグラフタスクを効果的に一般化する統合グラフ推論フレームワークSCOREを紹介する。
SCOREを38種類のグラフデータセットを用いて評価し、ノードレベル、リンクレベル、グラフレベルのタスクを複数のドメインでカバーする。
論文 参考訳（メタデータ） (2024-10-16T14:26:08Z) - Boosting Graph Foundation Model from Structural Perspective [6.387816922598151]
構造の観点からグラフ基盤モデルを強化し,BooGを提案する。
BooGは仮想スーパーノードを構築し、異なるドメインからのグラフデータの構造的特性を統合する。
また,グラフデータに対してより表現力のある表現を学習するコントラスト学習に基づく,新しい事前学習目標を提案する。
論文 参考訳（メタデータ） (2024-07-29T12:22:16Z) - LSEnet: Lorentz Structural Entropy Neural Network for Deep Graph Clustering [59.89626219328127]
グラフクラスタリングは機械学習の基本的な問題である。
近年、ディープラーニング手法は最先端の成果を達成しているが、事前に定義されたクラスタ番号なしでは動作できない。
本稿では,グラフ情報理論の新たな視点からこの問題に対処することを提案する。
論文 参考訳（メタデータ） (2024-05-20T05:46:41Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳（メタデータ） (2023-06-20T03:33:22Z) - Graph Learning and Its Advancements on Large Language Models: A Holistic Survey [37.01696685233113]
この調査は、グラフ学習と事前訓練された言語モデルの統合における最新の進歩に焦点を当てる。
グラフ構造の観点から現在の研究を解析し、グラフ学習における最新の応用、トレンド、課題について論じる。
論文 参考訳（メタデータ） (2022-12-17T22:05:07Z) - Hyperbolic Graph Representation Learning: A Tutorial [39.25873010585029]
本チュートリアルは,このグラフ表現学習の新たな分野について,すべてのオーディエンスにアクセス可能なことを目的とした紹介を行う。
まず、グラフ表現学習といくつかの予備的および双曲幾何学について簡単な紹介を行う。
そして、それらを一般的なフレームワークに統合することで、現在の双曲グラフニューラルネットワークの技術詳細を包括的に再考する。
論文 参考訳（メタデータ） (2022-11-08T07:15:29Z) - Explanation Graph Generation via Pre-trained Language Models: An
Empirical Study with Contrastive Learning [84.35102534158621]
エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。
本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。
提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
論文 参考訳（メタデータ） (2022-04-11T00:58:27Z) - Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。
グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。
近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
論文 参考訳（メタデータ） (2022-02-28T15:08:48Z) - A Self-supervised Mixed-curvature Graph Neural Network [76.3790248465522]
自己教師型混合曲率グラフニューラルネットワーク(SelfMGNN)を提案する。
我々は、SelfMGNNが現実の複雑なグラフ構造をキャプチャし、最先端のベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2021-12-10T08:56:55Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳（メタデータ） (2021-05-06T12:20:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。