論文の概要: Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions

• arxiv url: http://arxiv.org/abs/2408.06787v4
• Date: Tue, 05 Aug 2025 13:56:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 15:23:33.692896
• Title: Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions
• Title（参考訳）: 微調整なしでLLMとKGをブリッジする:中間的調査がサブグラフ対応エンティティ記述と出会う
• Authors: Bo Xue, Yi Xu, Yunchong Song, Jiaxin Ding, Luoyi Fu, Xinbing Wang,
• Abstract要約: 大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。 実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。 従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
• 参考スコア（独自算出の注目度）: 49.36683223327633
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Traditional knowledge graph completion (KGC) methods rely solely on structural information, struggling with the inherent sparsity of knowledge graphs (KGs). By contrast, Large Language Models (LLMs) encapsulate extensive world knowledge and exhibit powerful context modeling capabilities, making them promising for mitigating the limitations of traditional methods. However, direct fine-tuning of LLMs for KGC, though effective, imposes substantial computational and memory overheads, while utilizing non-fine-tuned LLMs is efficient but yields suboptimal performance. In this work, we propose a novel framework that synergizes the strengths of LLMs with robust knowledge representation to enable effective and efficient KGC. We extract the context-aware hidden states of knowledge triples from the intermediate layers of LLMs, thereby capturing rich semantic and relational nuances. These representations are then utilized to train a data-efficient classifier tailored specifically for KGC tasks. To bridge the semantic gaps between LLMs and KGs, we employ subgraph sampling on KGs to generate model-friendly entity descriptions. We further adopt sliced mutual information (SMI) as a principled metric to quantify the task-specific information encoded in these representations. Extensive experiments on standard benchmarks validate the efficiency and effectiveness of our approach. We achieve a 47\% relative improvement over previous methods based on non-fine-tuned LLMs and, to our knowledge, are the first to achieve classification performance comparable to fine-tuned LLMs while enhancing GPU memory efficiency by $188\times$ and accelerating training and inference by $26.11\times$.
• Abstract（参考訳）: 従来の知識グラフ補完法(KGC)は構造情報のみに依存しており、知識グラフ(KG)の本質的な空間性に悩まされている。 対照的に、LLM(Large Language Models)は広い世界知識をカプセル化し、強力なコンテキストモデリング能力を示し、従来のメソッドの制限を緩和することを約束している。 しかし, KGC 用 LLM の直接微調整は有効ではあるが, 計算やメモリのオーバーヘッドが大きく, 非微調整 LLM は効率が良いが, 最適性能は低い。 本研究では,LLMの強みと強靭な知識表現を相乗化して,効率的かつ効率的なKGCを実現する新しいフレームワークを提案する。 LLMの中間層から文脈認識型知識三重項の隠蔽状態を抽出し,リッチな意味的・関係的ニュアンスを抽出する。 これらの表現は、KGCタスクに特化したデータ効率の分類器を訓練するために使用される。 LLMとKGのセマンティックギャップを埋めるために、モデルフレンドリーなエンティティ記述を生成するためにKGのサブグラフサンプリングを用いる。 さらに、これらの表現に符号化されたタスク固有情報を定量化するために、スライスされた相互情報(SMI)を原則として採用する。 標準ベンチマークに関する大規模な実験は、我々のアプローチの有効性と有効性を検証する。 我々は,非微調整LDMをベースとした従来の手法に比べて47倍の相対的な改善を実現し,我々の知る限り,GPUメモリ効率を188倍に高め,トレーニングと推論を26.11倍に向上させながら,細調整LDMに匹敵する分類性能を初めて達成した。

関連論文リスト

• Ontology-Enhanced Knowledge Graph Completion using Large Language Models [20.080012331845065]
  大言語モデル(LLM)は知識グラフ補完(KGC)において広く採用されている。 OL-KGCを用いた拡張KGC法を提案する。 まず、神経知覚機構を利用して、構造情報をテキスト空間に効果的に埋め込む。
  論文  参考訳（メタデータ） (2025-07-28T09:00:48Z)
• IAM: Efficient Inference through Attention Mapping between Different-scale LLMs [74.81417160018856]
  IAMフレームワークは、注意計算の高速化とKVキャッシュ使用量の削減という2つの利点を実現する。 IAMはプリフィルを15%高速化し,KVキャッシュ使用量を22.1%削減できることを示す。
  論文  参考訳（メタデータ） (2025-07-16T06:39:11Z)
• Injecting Knowledge Graphs into Large Language Models [0.0]
  我々は,大規模言語モデル内のグラフ埋め込みをトークンとして統合するエンコーディング技術を構築した。 我々のアプローチは、モデルに依存しず、リソース効率が良く、どのLLMとも互換性がある。
  論文  参考訳（メタデータ） (2025-05-12T13:31:26Z)
• Does Knowledge Distillation Matter for Large Language Model based Bundle Generation? [13.491190612749534]
  知識蒸留は有望な解決策であり、大きな教師モデルからコンパクトな学生モデルに専門知識を移す。 本研究では,バンドル生成のための知識蒸留手法を体系的に検討し,性能を保ちながら計算要求を最小限に抑えることを目的とした。 i) 知識(パターン,ルール,深い思考)を段階的に抽出し, (ii) 異なる戦略を通じて様々な量の蒸留知識を抽出し, (iii) ドメイン固有適応のための補完的なLCM適応技術と効率の向上を活用できる包括的KDフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T03:18:16Z)
• LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph [57.382255728234064]
  大きな言語モデル(LLM)は、テキスト理解とゼロショット推論において素晴らしい能力を持っている。 知識グラフ(KG)は、LLMの推論プロセスに対して、リッチで信頼性の高いコンテキスト情報を提供する。 我々は、KGQA(LightPROF)のための新しい軽量で効率的なPrompt Learning-ReasOning Frameworkを提案する。
  論文  参考訳（メタデータ） (2025-04-04T03:03:47Z)
• LLM is Knowledge Graph Reasoner: LLM's Intuition-aware Knowledge Graph Reasoning for Cold-start Sequential Recommendation [47.34949656215159]
  大規模言語モデル(LLM)は、Webデータから学習された豊富な知識を持つデータベースとみなすことができる。 LLMの直感認識型知識グラフ推論モデル(LIKR)を提案する。 本モデルは,コールドスタートシーケンシャルレコメンデーションシナリオにおいて,最先端レコメンデーション手法より優れている。
  論文  参考訳（メタデータ） (2024-12-17T01:52:15Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
  大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。 本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。 提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
  論文  参考訳（メタデータ） (2024-10-28T04:39:32Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
  大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。 LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。 我々の手法は既存の最先端アルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2024-08-15T15:56:23Z)
• Traditional Methods Outperform Generative LLMs at Forecasting Credit Ratings [17.109522466982476]
  大規模言語モデル(LLM)は多くの下流タスクでうまく機能することが示されている。 本稿では,企業信用格付け予測におけるLCMの業績について検討する。
  論文  参考訳（メタデータ） (2024-07-24T20:30:55Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Large Language Models as Reliable Knowledge Bases? [60.25969380388974]
  大きな言語モデル(LLM)は潜在的な知識ベース(KB)と見なすことができる。 本研究は、信頼性の高いLLM-as-KBが満たすべき基準を定義し、事実性と一貫性に焦点をあてる。 ICLや微調整のような戦略は、LLMをより良くKBにするには失敗している。
  論文  参考訳（メタデータ） (2024-07-18T15:20:18Z)
• On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models [33.08049246893537]
  検索拡張現実(RAG)は,大規模言語モデル(LLM)の知識能力向上に際し,優れた性能を示す 本稿では,LLMの簡易かつ効果的なロングテール知識検出手法を提案する。 提案手法は,平均推定時間で4倍以上の高速化を実現し,下流タスクにおける一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2024-06-24T07:17:59Z)
• LLMEmbed: Rethinking Lightweight LLM's Genuine Function in Text Classification [13.319594321038926]
  本稿では,この古典的だが挑戦的な課題に対処するために,LLMEmbedという,シンプルで効果的なトランスファー学習戦略を提案する。 その結果,LLMEmbedはトレーニングのオーバーヘッドを低く抑えながら,高い性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2024-06-06T03:46:59Z)
• Knowledge Graph Tuning: Real-time Large Language Model Personalization based on Human Feedback [5.778012023739487]
  大規模言語モデル(LLM)をパーソナライズするための知識グラフチューニング(KGT)を提案する。 KGTは、ユーザのクエリとフィードバックからパーソナライズされた事実知識を抽出し、LLMパラメータを変更することなくKGを最適化する。 GPT-2、Llama2、Llama3を含む最先端のLLMによる実験では、KGTはレイテンシとGPUメモリコストを削減しつつ、パーソナライズ性能を著しく改善している。
  論文  参考訳（メタデータ） (2024-05-30T04:57:03Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond [24.151927600694066]
  コミットメッセージ生成(CMG)アプローチは、与えられたコード差分に基づいてコミットメッセージを自動的に生成することを目的としている。 本稿では,Large Language Models (LLMs) を用いて高品質なコミットメッセージの生成にどの程度の期間を費やしてきたかを調べるための,最初の包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-23T08:24:43Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  知識グラフ(KG) モデルパラメータの埋め込みはますますコストがかかる。 現在のプロンプト方式は、しばしばトライアル・アンド・エラー方式に依存している。 非順序線形化三重項は、流線型NLテキストと比較して、LLMのKG理解に有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• Chain of History: Learning and Forecasting with LLMs for Temporal Knowledge Graph Completion [24.545917737620197]
  時間知識グラフ補完(TKGC)は、将来のタイムスタンプにおけるイベントリンクの欠落を予測する複雑なタスクである。 本稿では,時間的知識グラフの推論において,大規模言語モデルの利点を活用するための総合的な視点を提供することを目的とする。
  論文  参考訳（メタデータ） (2024-01-11T17:42:47Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。