論文の概要: GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning

• arxiv url: http://arxiv.org/abs/2510.04567v1
• Date: Mon, 06 Oct 2025 08:09:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.741879
• Title: GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning
• Title（参考訳）: GILT:インコンテキスト学習のためのLLMフリーでチューニング不要なグラフ基礎モデル
• Authors: Weishuo Ma, Yanbo Wang, Xiyuan Wang, Lei Zou, Muhan Zhang,
• Abstract要約: グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
• 参考スコア（独自算出の注目度）: 50.40400074353263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) are powerful tools for precessing relational data but often struggle to generalize to unseen graphs, giving rise to the development of Graph Foundational Models (GFMs). However, current GFMs are challenged by the extreme heterogeneity of graph data, where each graph can possess a unique feature space, label set, and topology. To address this, two main paradigms have emerged. The first leverages Large Language Models (LLMs), but is fundamentally text-dependent, thus struggles to handle the numerical features in vast graphs. The second pre-trains a structure-based model, but the adaptation to new tasks typically requires a costly, per-graph tuning stage, creating a critical efficiency bottleneck. In this work, we move beyond these limitations and introduce \textbf{G}raph \textbf{I}n-context \textbf{L}earning \textbf{T}ransformer (GILT), a framework built on an LLM-free and tuning-free architecture. GILT introduces a novel token-based framework for in-context learning (ICL) on graphs, reframing classification tasks spanning node, edge and graph levels in a unified framework. This mechanism is the key to handling heterogeneity, as it is designed to operate on generic numerical features. Further, its ability to understand class semantics dynamically from the context enables tuning-free adaptation. Comprehensive experiments show that GILT achieves stronger few-shot performance with significantly less time than LLM-based or tuning-based baselines, validating the effectiveness of our approach.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、リレーショナルデータを前提とした強力なツールであるが、しばしば目に見えないグラフへの一般化に苦慮し、グラフ基礎モデル(GFM)の開発に繋がる。 しかし、現在の GFM はグラフデータの極端な不均一性によって挑戦され、各グラフは固有の特徴空間、ラベル集合、トポロジーを持つことができる。 これを解決するために、2つの主要なパラダイムが出現した。 1つはLarge Language Models (LLM) を利用するが、基本的にはテキストに依存しており、巨大なグラフの数値的特徴を扱うのに苦労する。 2つ目は構造ベースのモデルを事前訓練するが、新しいタスクへの適応は通常、グラフ単位のチューニングステージをコストで必要とし、重要な効率ボトルネックを生み出す。 本研究では,これらの制約を超えて,LLMフリーでチューニング不要なアーキテクチャ上に構築されたフレームワークであるGILT(textbf{G}raph \textbf{I}n-context \textbf{L}earning \textbf{T}ransformer)を導入する。 GILTは、グラフ上のインコンテキスト学習(ICL)のための新しいトークンベースのフレームワークを導入し、統一されたフレームワークでノード、エッジ、グラフレベルにまたがる分類タスクをフレーミングする。 このメカニズムは、一般的な数値的特徴を扱うように設計されているため、不均一性を扱うための鍵となる。 さらに、コンテキストからクラスセマンティクスを動的に理解する能力は、チューニング不要な適応を可能にする。 総合的な実験により、GILTはLLMベースやチューニングベースラインよりもはるかに少ない時間でより強力なショット性能を実現し、本手法の有効性を検証した。

関連論文リスト

• G-reasoner: Foundation Models for Unified Reasoning over Graph-structured Knowledge [88.82814893945077]
  大規模言語モデル(LLM)は複雑な推論において優れているが、静的かつ不完全なパラメトリック知識によって制限される。 最近のグラフ強化RAG (GraphRAG) は、このギャップを補足したグラフを構築し、LLMがそれらを推論できるようにする。 G-reasonerは、様々なグラフ構造化知識を推論するためにグラフと言語基盤モデルを統合した統合フレームワークである。
  論文  参考訳（メタデータ） (2025-09-29T04:38:12Z)
• Scalable Graph Generative Modeling via Substructure Sequences [50.32639806800683]
  本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。 G$2$PMはグラフインスタンス(ノード、エッジ、グラフ全体)をサブ構造のシーケンスとして表現する。 それは、一般化可能かつ伝達可能な表現を学ぶために、シーケンスに関する生成的事前学習を採用する。
  論文  参考訳（メタデータ） (2025-05-22T02:16:34Z)
• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
  Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。 大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。 本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:45:22Z)
• Scale-Free Graph-Language Models [44.283149785253286]
  グラフ言語モデル(GLM)は、グラフに基づく半教師付き学習において大きな可能性を示している。 本稿では,グラフ生成とテキスト埋め込みを統一フレームワークに統合した新しいGLMを提案する。
  論文  参考訳（メタデータ） (2025-02-21T03:41:43Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。