論文の概要: GRIP: In-Parameter Graph Reasoning through Fine-Tuning Large Language Models
- arxiv url: http://arxiv.org/abs/2511.07457v1
- Date: Wed, 12 Nov 2025 01:00:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-12 20:17:03.336134
- Title: GRIP: In-Parameter Graph Reasoning through Fine-Tuning Large Language Models
- Title（参考訳）: GRIP: 微調整大言語モデルによるパラメータ内グラフ推論
- Authors: Jiarui Feng, Donghong Cai, Yixin Chen, Muhan Zhang,
- Abstract要約: 大規模言語モデル(LLM)は、逐次テキストデータのモデリングにおいて顕著な能力を示した。
グラフから複雑な関係情報を内部化できる新しいフレームワークGRIPを提案する。
この知識は軽量な LoRA パラメータに効率的に格納され、微調整された LLM が幅広いグラフ関連タスクを実行できる。
- 参考スコア（独自算出の注目度）: 40.5886835740214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in modeling sequential textual data and generalizing across diverse tasks. However, adapting LLMs to effectively handle structural data, such as knowledge graphs or web data, remains a challenging problem. Some approaches adopt complex strategies to convert graphs into text sequences, resulting in significant token overhead and rendering them impractical for large-scale graphs. Others introduce additional modules to encode graphs into fixed-size token representations for LLMs. However, these methods typically require large-scale post-training on graph-text corpus and complex alignment procedures, yet often yield sub-optimal results due to poor modality alignment. Inspired by in-parameter knowledge injection for test-time adaptation of LLMs, we propose GRIP, a novel framework that equips LLMs with the ability to internalize complex relational information from graphs through carefully designed fine-tuning tasks. This knowledge is efficiently stored within lightweight LoRA parameters, enabling the fine-tuned LLM to perform a wide range of graph-related tasks without requiring access to the original graph at inference time. Extensive experiments across multiple benchmarks validate the effectiveness and efficiency of our approach.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、逐次テキストデータをモデリングし、多様なタスクをまたいで一般化する際、顕著な能力を示した。
しかし、知識グラフやWebデータといった構造データを効果的に扱えるようにLLMを適用することは、依然として困難な問題である。
いくつかのアプローチでは、グラフをテキストシーケンスに変換する複雑な戦略を採用しており、結果としてトークンのオーバーヘッドが大きくなり、大規模グラフでは実行不可能となる。
グラフをLLM用の固定サイズのトークン表現にエンコードするモジュールも導入されている。
しかし、これらの手法は通常、グラフテキストコーパスや複雑なアライメント手順の大規模なポストトレーニングを必要とするが、モダリティアライメントが不十分なため、しばしば準最適結果が得られる。
LLMの試験時間適応のためのパラメータ内知識注入(in-parameter knowledge Injection)によって着想を得たGRIPを提案する。
この知識は軽量な LoRA パラメータに効率的に格納され、微調整された LLM は推論時に元のグラフにアクセスすることなく、広範囲のグラフ関連タスクを実行できる。
複数のベンチマークにわたる大規模な実験は、我々のアプローチの有効性と効率を検証します。
関連論文リスト
- GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。
textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
論文 参考訳（メタデータ） (2025-10-06T08:09:15Z) - Actions Speak Louder than Prompts: A Large-Scale Study of LLMs for Graph Inference [7.817259532290553]
大規模言語モデル(LLM)は、テキストリッチなグラフ機械学習タスクにますます利用されている。
関心の高まりにもかかわらず、この分野はグラフデータとの相互作用におけるLLMの能力の原則的な理解を欠いている。
論文 参考訳（メタデータ） (2025-09-23T00:46:21Z) - GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。
抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。
提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
論文 参考訳（メタデータ） (2025-09-20T02:38:00Z) - Efficient Graph Understanding with LLMs via Structured Context Injection [8.393355845456659]
本稿では,タスク固有の情報を入力に体系的に組み込んでLLMを誘導し,幅広いグラフ問題を解く構造化コンテキスト注入フレームワークを提案する。
LLMの微調整は不要であり、コスト効率と軽量化を実現している。
我々は,軽量モデルと大規模モデルの両方を用いて,複数のグラフタスクに対するアプローチを評価し,精度と計算コストのトレードオフを強調した。
論文 参考訳（メタデータ） (2025-08-31T08:07:56Z) - Training Large Recommendation Models via Graph-Language Token Alignment [53.3142545812349]
本稿では,グラフ言語トークンアライメントによる大規模推薦モデルのトレーニングを行う新しいフレームワークを提案する。
インタラクショングラフからアイテムとユーザノードを事前訓練されたLLMトークンにアライメントすることで、GLTAはLLMの推論能力を効果的に活用する。
さらに、エンドツーエンドのアイテム予測のためのトークンアライメントを最適化するために、GLLM(Graph-Language Logits Matching)を導入する。
論文 参考訳（メタデータ） (2025-02-26T02:19:10Z) - Are Large Language Models In-Context Graph Learners? [31.172657860606297]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著なコンテキスト内推論機能を持つ。
しかし、非ユークリッド構造に対する理解の欠如のため、グラフのような構造化データを扱うのに苦労している。
グラフデータの学習は、検索強化生成(RAG)プロセスとして概念化できることを示す。
グラフ学習タスクにおけるLLMの文脈内学習能力を高めるための一連のRAGフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-19T09:14:19Z) - From Anchors to Answers: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [27.353083085394008]
グラフ表現のためのアンカーベース位置符号化方式を備えた新しいフレームワークNT-LLMを提案する。
提案手法では,アンカーとして参照ノードを戦略的に選択し,各ノードの位置をアンカーに対してエンコードし,既存の手法の計算負担を伴わずに重要なトポロジ情報を取得する。
NT-LLMは、位置符号化事前訓練のためのランク保存目的を実装することにより、基本構造解析から複雑な推論シナリオに至るまで、多種多様なグラフタスクにまたがる優れた性能を実現する。
論文 参考訳（メタデータ） (2024-10-14T17:21:57Z) - All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳（メタデータ） (2024-07-20T22:09:42Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-04-28T18:36:59Z) - Efficient End-to-end Language Model Fine-tuning on Graphs [21.23522552579571]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
我々は,TAG上での言語モデルのエンドツーエンドな微調整のための,新規かつ効率的なアプローチであるLEAdingを紹介する。
提案手法は,Ogbn-arxiv のリーダーボード上で,最先端のSOTA(State-of-the-art)を達成し,優れた性能を示す。
論文 参考訳（メタデータ） (2023-12-07T22:35:16Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳（メタデータ） (2023-10-09T07:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。