論文の概要: LoReC: Rethinking Large Language Models for Graph Data Analysis
- arxiv url: http://arxiv.org/abs/2604.17897v1
- Date: Mon, 20 Apr 2026 07:16:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.746161
- Title: LoReC: Rethinking Large Language Models for Graph Data Analysis
- Title(参考訳): LoReC: グラフデータ分析のための大規模言語モデルの再考
- Abstract要約: 大きな言語モデル(LLM)は、グラフとのインタラクションの方法を根本的に変え、GraphLLMと呼ばれる新しいパラダイムを生み出しました。
グラフデータに対するLLMの理解を3段階にわたって強化する,グラフLLMパラダイムの新規なプラグアンドプレイ法であるLoReCを提案する。
LoReCは、現在のGraphLLMメソッドよりも顕著に改善され、さまざまなデータセットでGNNベースのアプローチを上回っている。
- 参考スコア(独自算出の注目度): 26.87818601972954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advent of Large Language Models (LLMs) has fundamentally reshaped the way we interact with graphs, giving rise to a new paradigm called GraphLLM. As revealed in recent studies, graph learning can benefit from LLMs. However, we observe limited benefits when we directly utilize LLMs to make predictions for graph-related tasks within GraphLLM paradigm, which even yields suboptimal results compared to conventional GNN-based approaches. Through in-depth analysis, we find this failure can be attributed to LLMs' limited capability for processing graph data and their tendency to overlook graph information. To address this issue, we propose LoReC (Look, Remember, and Contrast), a novel plug-and-play method for GraphLLM paradigm, which enhances LLM's understanding of graph data through three stages: (1) Look: redistributing attention to graph; (2) Remember: re-injecting graph information into the Feed-Forward Network (FFN); (3) Contrast: rectifying the vanilla logits produced in the decoding process. Extensive experiments demonstrate that LoReC brings notable improvements over current GraphLLM methods and outperforms GNN-based approaches across diverse datasets. The implementation is available at https://github.com/Git-King-Zhan/LoReC.
- Abstract(参考訳): 大規模言語モデル(LLM)の出現は、グラフとのインタラクションの方法を根本的に変え、GraphLLMと呼ばれる新しいパラダイムを生み出しました。
最近の研究で明らかになったように、グラフ学習はLLMの恩恵を受けることができる。
しかし,従来のGNN手法と比較して,グラフ関連タスクの予測にLSMを直接利用する場合の利点は限られている。
詳細な分析により、この故障はグラフデータの処理能力の制限と、グラフ情報を見落としてしまう傾向に起因することが判明した。
この問題に対処するために,Look, remember, and Contrast という新しい GraphLLM パラダイムのプラグアンドプレイ手法を提案する。これは LLM のグラフデータの理解を 3 段階を通して強化するものだ。(1) グラフの再配布,(2) グラフ情報をFeed-Forward Network (FFN) に再注入すること,(3) コントラスト: 復号プロセスで生成したバニラロジットの修正。
大規模な実験では、LoReCが現在のGraphLLMメソッドよりも顕著に改善され、さまざまなデータセットでGNNベースのアプローチを上回ることが示されている。
実装はhttps://github.com/Git-King-Zhan/LoReCで公開されている。
関連論文リスト
- Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。
Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。
本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
論文 参考訳(メタデータ) (2025-05-22T05:15:27Z) - Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。
本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。
本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
論文 参考訳(メタデータ) (2025-05-02T06:08:21Z) - What Do LLMs Need to Understand Graphs: A Survey of Parametric Representation of Graphs [69.48708136448694]
大規模言語モデル(LLM)は、期待される推論能力と推論能力のために、AIコミュニティで再編成されている。
我々は、グラフのこのようなパラメトリック表現、グラフ法則は、LLMがグラフデータを入力として理解させるソリューションであると信じている。
論文 参考訳(メタデータ) (2024-10-16T00:01:31Z) - Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [70.03602551880526]
グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。
その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。
本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
論文 参考訳(メタデータ) (2024-09-29T11:38:45Z) - GLBench: A Comprehensive Benchmark for Graph with Large Language Models [41.89444363336435]
GLBenchは、教師付きシナリオとゼロショットシナリオの両方でGraphLLMメソッドを評価するための最初の包括的なベンチマークである。
GLBenchはグラフニューラルネットワークのような従来のベースラインとともに、GraphLLMメソッドのさまざまなカテゴリを公平かつ徹底的に評価する。
論文 参考訳(メタデータ) (2024-07-10T08:20:47Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。
既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。
本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-10T15:41:53Z) - GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability [47.69392503009922]
本稿では,21の古典的グラフ推論タスクを包括的に含むGraphInstructというベンチマークを提案する。
GraphInstructをベースとして,グラフ理解能力の顕著さを示す効率的な命令チューニングによるGraphrを開発した。
マルチステップグラフ推論機能を備えたLLMをさらに促進するために,ラベルマスクトレーニング戦略を提案し,Graphr+を構築する。
論文 参考訳(メタデータ) (2024-03-07T13:36:08Z) - LLaGA: Large Language and Graph Assistant [73.71990472543027]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。
LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。
実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文 参考訳(メタデータ) (2024-02-13T02:03:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。