論文の概要: Towards Efficient LLM-aware Heterogeneous Graph Learning

• arxiv url: http://arxiv.org/abs/2511.17923v1
• Date: Sat, 22 Nov 2025 05:38:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.515212
• Title: Towards Efficient LLM-aware Heterogeneous Graph Learning
• Title（参考訳）: LLM対応不均質グラフ学習の効率化に向けて
• Authors: Wenda Li, Tongya Zheng, Shunyu Liu, Yu Wang, Kaixuan Chen, Hanyang Yuan, Bingde Hu, Zujie Ren, Mingli Song, Gang Chen,
• Abstract要約: ヘテロジニアスグラフのための効率的なLLM-Awareフレームワークを提案する。 提案するELAは,性能と効率において最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 47.42705995672551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heterogeneous graphs are widely present in real-world complex networks, where the diversity of node and relation types leads to complex and rich semantics. Efforts for modeling complex relation semantics in heterogeneous graphs are restricted by the limitations of predefined semantic dependencies and the scarcity of supervised signals. The advanced pre-training and fine-tuning paradigm leverages graph structure to provide rich self-supervised signals, but introduces semantic gaps between tasks. Large Language Models (LLMs) offer significant potential to address the semantic issues of relations and tasks in heterogeneous graphs through their strong reasoning capabilities in textual modality, but their incorporation into heterogeneous graphs is largely limited by computational complexity. Therefore, in this paper, we propose an Efficient LLM-Aware (ELLA) framework for heterogeneous graphs, addressing the above issues. To capture complex relation semantics, we propose an LLM-aware Relation Tokenizer that leverages LLM to encode multi-hop, multi-type relations. To reduce computational complexity, we further employ a Hop-level Relation Graph Transformer, which help reduces the complexity of LLM-aware relation reasoning from exponential to linear. To bridge semantic gaps between pre-training and fine-tuning tasks, we introduce the fine-grained task-aware textual Chain-of-Thought (CoT) prompts. Extensive experiments on four heterogeneous graphs show that our proposed ELLA outperforms state-of-the-art methods in the performance and efficiency. In particular, ELLA scales up to 13b-parameter LLMs and achieves up to a 4x speedup compared with existing LLM-based methods. Our code is publicly available at https://github.com/l-wd/ELLA.
• Abstract（参考訳）: 不均一グラフは実世界の複素ネットワークに広く存在し、そこではノードと関係型の多様性が複雑でリッチな意味論をもたらす。 不均一グラフにおける複雑な関係意味論のモデル化への取り組みは、事前定義されたセマンティック依存関係の制限と教師付き信号の不足によって制限される。 高度な事前学習と微調整のパラダイムは、グラフ構造を利用して、リッチな自己教師付き信号を提供するが、タスク間のセマンティックギャップを導入する。 大規模言語モデル(LLM)は、テキストのモダリティにおける強い推論能力を通じて、不均一グラフにおける関係やタスクの意味的な問題に対処する大きな可能性を秘めている。 そこで本稿では, ヘテロジニアスグラフのための効率的なLLM-Aware(ELLA)フレームワークを提案する。 複雑な関係のセマンティクスを捉えるために,LLMを利用してマルチホップ・マルチタイプ関係を符号化するLLM対応リレーショナルトケナイザを提案する。 さらに,計算複雑性を低減するために,指数関数から線形へのLLM対応関係推論の複雑さを低減するホップレベルのリレーショナルグラフ変換器を用いる。 事前学習タスクと微調整タスクのセマンティックギャップを埋めるために,タスク認識型テキスト・オブ・ソート(CoT)プロンプトを導入する。 4つのヘテロジニアスグラフに対する大規模な実験により,提案したELAは性能と効率において最先端の手法より優れていることが示された。 特に、ELA は 13b パラメータ LLM までスケールし、既存の LLM 法と比較して最大 4 倍の高速化を実現している。 私たちのコードはhttps://github.com/l-wd/ELLA.comで公開されています。

関連論文リスト

• GRIP: In-Parameter Graph Reasoning through Fine-Tuning Large Language Models [40.5886835740214]
  大規模言語モデル(LLM)は、逐次テキストデータのモデリングにおいて顕著な能力を示した。 グラフから複雑な関係情報を内部化できる新しいフレームワークGRIPを提案する。 この知識は軽量な LoRA パラメータに効率的に格納され、微調整された LLM が幅広いグラフ関連タスクを実行できる。
  論文  参考訳（メタデータ） (2025-11-06T21:56:58Z)
• Actions Speak Louder than Prompts: A Large-Scale Study of LLMs for Graph Inference [7.817259532290553]
  大規模言語モデル(LLM)は、テキストリッチなグラフ機械学習タスクにますます利用されている。 関心の高まりにもかかわらず、この分野はグラフデータとの相互作用におけるLLMの能力の原則的な理解を欠いている。
  論文  参考訳（メタデータ） (2025-09-23T00:46:21Z)
• GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
  本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。 抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。 提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-20T02:38:00Z)
• Efficient Graph Understanding with LLMs via Structured Context Injection [8.393355845456659]
  本稿では,タスク固有の情報を入力に体系的に組み込んでLLMを誘導し,幅広いグラフ問題を解く構造化コンテキスト注入フレームワークを提案する。 LLMの微調整は不要であり、コスト効率と軽量化を実現している。 我々は,軽量モデルと大規模モデルの両方を用いて,複数のグラフタスクに対するアプローチを評価し,精度と計算コストのトレードオフを強調した。
  論文  参考訳（メタデータ） (2025-08-31T08:07:56Z)
• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• Reasoning with Graphs: Structuring Implicit Knowledge to Enhance LLMs Reasoning [73.2950349728376]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な成功を収めている。 しかし、彼らは情報片間の関係を理解し、推論する必要があるタスクの推論において、依然として課題に直面している。 この課題は、論理的推論やマルチホップ質問応答など、多段階プロセスに関わるタスクにおいて特に顕著である。 本稿では、まず文脈から明示的なグラフを構築することにより、グラフを用いた推論(RwG)を提案する。
  論文  参考訳（メタデータ） (2025-01-14T05:18:20Z)
• From Anchors to Answers: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [27.353083085394008]
  グラフ表現のためのアンカーベース位置符号化方式を備えた新しいフレームワークNT-LLMを提案する。 提案手法では,アンカーとして参照ノードを戦略的に選択し,各ノードの位置をアンカーに対してエンコードし,既存の手法の計算負担を伴わずに重要なトポロジ情報を取得する。 NT-LLMは、位置符号化事前訓練のためのランク保存目的を実装することにより、基本構造解析から複雑な推論シナリオに至るまで、多種多様なグラフタスクにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-10-14T17:21:57Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。