論文の概要: Unlock the Power of Frozen LLMs in Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2408.06787v1
• Date: Tue, 13 Aug 2024 10:15:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 17:56:13.606006
• Title: Unlock the Power of Frozen LLMs in Knowledge Graph Completion
• Title（参考訳）: 知識グラフコンプリートにおける凍結LDMのパワーの解錠
• Authors: Bo Xue, Yi Xu, Yunchong Song, Yiming Pang, Yuyang Ren, Jiaxin Ding, Luoyi Fu, Xinbing Wang,
• Abstract要約: 大きな言語モデル(LLM)は、強力なコンテキストモデリングによって大きなコーパスから広範な知識を学ぶ。 我々は、LLMの中間層を刺激するためにプロンプトを利用することで、コンテキスト対応の知識三重項の隠蔽状態を捉える。 我々は、KGのサブグラフサンプリングによるエンティティ記述を生成し、三重項の曖昧さを減らし、知識表現を豊かにする。
• 参考スコア（独自算出の注目度）: 45.80451763142032
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Classical knowledge graph completion (KGC) methods rely solely on structural information, struggling with the inherent sparsity of knowledge graphs (KGs). Large Language Models (LLMs) learn extensive knowledge from large corpora with powerful context modeling, which is ideal for mitigating the limitations of previous methods. Directly fine-tuning LLMs offers great capability but comes at the cost of huge time and memory consumption, while utilizing frozen LLMs yields suboptimal results. In this work, we aim to leverage LLMs for KGC effectively and efficiently. We capture the context-aware hidden states of knowledge triples by employing prompts to stimulate the intermediate layers of LLMs. We then train a data-efficient classifier on these hidden states to harness the inherent capabilities of frozen LLMs in KGC. We also generate entity descriptions with subgraph sampling on KGs, reducing the ambiguity of triplets and enriching the knowledge representation. Extensive experiments on standard benchmarks showcase the efficiency and effectiveness of our approach. We outperform classical KGC methods on most datasets and match the performance of fine-tuned LLMs. Additionally, compared to fine-tuned LLMs, we boost GPU memory efficiency by \textbf{$188\times$} and speed up training+inference by \textbf{$13.48\times$}.
• Abstract（参考訳）: 古典的知識グラフ補完(KGC)法は構造情報のみに依存しており、知識グラフ(KG)の本質的な疎性に悩まされている。 大規模言語モデル(LLM)は,従来の手法の限界を緩和する上で理想的な,強力なコンテキストモデリングを備えた大規模コーパスから広範な知識を学習する。 直接微調整 LLM は優れた能力を提供するが、凍結した LLM を利用することで準最適結果が得られる一方で、膨大な時間とメモリ消費のコストがかかる。 本研究は,KGCにLLMを効果的かつ効率的に活用することを目的としている。 我々は、LLMの中間層を刺激するためにプロンプトを利用することで、コンテキスト対応の知識三重項の隠蔽状態を捉える。 次に、これらの隠れ状態にデータ効率の分類器をトレーニングし、KGCにおける凍結LDMの本質的な機能を利用する。 また、KGのサブグラフサンプリングによるエンティティ記述を生成し、三重項のあいまいさを減らし、知識表現を豊かにする。 標準ベンチマークに関する大規模な実験は、我々のアプローチの効率性と有効性を示している。 我々は、ほとんどのデータセットにおいて古典的なKGC法より優れており、微調整LLMの性能と一致している。 さらに、微調整 LLM と比較して、GPU メモリ効率を \textbf{$188\times$} で、トレーニング+推論を \textbf{$13.48\times$} で高速化する。

関連論文リスト

• LLM is Knowledge Graph Reasoner: LLM's Intuition-aware Knowledge Graph Reasoning for Cold-start Sequential Recommendation [47.34949656215159]
  大規模言語モデル(LLM)は、Webデータから学習された豊富な知識を持つデータベースとみなすことができる。 LLMの直感認識型知識グラフ推論モデル(LIKR)を提案する。 本モデルは,コールドスタートシーケンシャルレコメンデーションシナリオにおいて,最先端レコメンデーション手法より優れている。
  論文  参考訳（メタデータ） (2024-12-17T01:52:15Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Forecasting Credit Ratings: A Case Study where Traditional Methods Outperform Generative LLMs [17.109522466982476]
  大規模言語モデル(LLM)は多くの下流タスクでうまく機能することが示されている。 本稿では,企業信用格付け予測におけるLCMの業績について検討する。
  論文  参考訳（メタデータ） (2024-07-24T20:30:55Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Knowledge Graph Tuning: Real-time Large Language Model Personalization based on Human Feedback [5.778012023739487]
  大規模言語モデル(LLM)をパーソナライズするための知識グラフチューニング(KGT)を提案する。 KGTは、ユーザのクエリとフィードバックからパーソナライズされた事実知識を抽出し、LLMパラメータを変更することなくKGを最適化する。 GPT-2、Llama2、Llama3を含む最先端のLLMによる実験では、KGTはレイテンシとGPUメモリコストを削減しつつ、パーソナライズ性能を著しく改善している。
  論文  参考訳（メタデータ） (2024-05-30T04:57:03Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  大規模言語モデル(LLM)の処理と知識グラフ(KG)の解釈について検討する。 リテラルレベルでは、様々な入力形式に対するLLMの好みを明らかにする。 注意分布レベルでは、これらの嗜好を駆動するメカニズムについて論じる。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• Chain of History: Learning and Forecasting with LLMs for Temporal Knowledge Graph Completion [24.545917737620197]
  時間知識グラフ補完(TKGC)は、将来のタイムスタンプにおけるイベントリンクの欠落を予測する複雑なタスクである。 本稿では,時間的知識グラフの推論において,大規模言語モデルの利点を活用するための総合的な視点を提供することを目的とする。
  論文  参考訳（メタデータ） (2024-01-11T17:42:47Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。