論文の概要: Unlock the Power of Frozen LLMs in Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2408.06787v2
• Date: Wed, 18 Sep 2024 07:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 22:32:32.549148
• Title: Unlock the Power of Frozen LLMs in Knowledge Graph Completion
• Title（参考訳）: 知識グラフコンプリートにおける凍結LDMのパワーの解錠
• Authors: Bo Xue, Yi Xu, Yunchong Song, Yiming Pang, Yuyang Ren, Jiaxin Ding, Luoyi Fu, Xinbing Wang,
• Abstract要約: 大きな言語モデル(LLM)は、強力なコンテキストモデリングによって大きなコーパスから広範な知識を学ぶ。 我々は、LLMの中間層を刺激するためにプロンプトを利用することで、コンテキスト対応の知識三重項の隠蔽状態を捉える。 次に、これらの隠れ状態にデータ効率の分類器をトレーニングし、KGCにおける凍結LDMの本質的な機能を利用する。
• 参考スコア（独自算出の注目度）: 45.80451763142032
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Traditional knowledge graph completion (KGC) methods rely solely on structural information, struggling with the inherent sparsity of knowledge graphs (KGs). Large Language Models (LLMs) learn extensive knowledge from large corpora with powerful context modeling, making them promising for mitigating the limitations of previous methods. Directly fine-tuning LLMs offers great capability but comes at the cost of huge time and memory consumption, while utilizing frozen LLMs yields suboptimal results.In this work, we aim to leverage LLMs for KGC effectively and efficiently. We capture the context-aware hidden states of knowledge triples by employing prompts to stimulate the intermediate layers of LLMs. We then train a data-efficient classifier on these hidden states to harness the inherent capabilities of frozen LLMs in KGC. Additionally, to reduce ambiguity and enrich knowledge representation, we generate detailed entity descriptions through subgraph sampling on KGs. Extensive experiments on standard benchmarks demonstrate the efficiency and effectiveness of our approach. We outperform traditional KGC methods across most datasets and, notably, achieve classification performance comparable to fine-tuned LLMs while enhancing GPU memory efficiency by $188\times$ and accelerating training and inference by $13.48\times$.
• Abstract（参考訳）: 従来の知識グラフ補完法(KGC)は構造情報のみに依存しており、知識グラフ(KG)の本質的な空間性に悩まされている。 大規模言語モデル(LLM)は、強力なコンテキストモデリングによって大きなコーパスから広範な知識を学び、従来の手法の限界を緩和することを約束する。 本研究は,LLMをKGCに有効かつ効率的に活用することを目的としている。 我々は、LLMの中間層を刺激するためにプロンプトを利用することで、コンテキスト対応の知識三重項の隠蔽状態を捉える。 次に、これらの隠れ状態にデータ効率の分類器をトレーニングし、KGCにおける凍結LDMの本質的な機能を利用する。 さらに、曖昧さを低減し、知識表現を豊かにするために、KGのサブグラフサンプリングを通じて詳細なエンティティ記述を生成する。 標準ベンチマークに関する大規模な実験は、我々のアプローチの効率性と有効性を示している。 我々は、ほとんどのデータセットで従来のKGCメソッドよりも優れており、特に、微調整のLLMに匹敵する分類性能を達成しつつ、GPUメモリ効率を188\times$で、トレーニングと推論を13.48\times$で加速しています。

関連論文リスト

• Traditional Methods Outperform Generative LLMs at Forecasting Credit Ratings [17.109522466982476]
  大規模言語モデル(LLM)は多くの下流タスクでうまく機能することが示されている。 本稿では,企業信用格付け予測におけるLCMの業績について検討する。
  論文  参考訳（メタデータ） (2024-07-24T20:30:55Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Large Language Models as Reliable Knowledge Bases? [60.25969380388974]
  大きな言語モデル(LLM)は潜在的な知識ベース(KB)と見なすことができる。 本研究は、信頼性の高いLLM-as-KBが満たすべき基準を定義し、事実性と一貫性に焦点をあてる。 ICLや微調整のような戦略は、LLMをより良くKBにするには失敗している。
  論文  参考訳（メタデータ） (2024-07-18T15:20:18Z)
• On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models [33.08049246893537]
  検索拡張現実(RAG)は,大規模言語モデル(LLM)の知識能力向上に際し,優れた性能を示す 本稿では,LLMの簡易かつ効果的なロングテール知識検出手法を提案する。 提案手法は,平均推定時間で4倍以上の高速化を実現し,下流タスクにおける一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2024-06-24T07:17:59Z)
• Knowledge Graph Tuning: Real-time Large Language Model Personalization based on Human Feedback [5.778012023739487]
  大規模言語モデル(LLM)をパーソナライズするための知識グラフチューニング(KGT)を提案する。 KGTは、ユーザのクエリとフィードバックからパーソナライズされた事実知識を抽出し、LLMパラメータを変更することなくKGを最適化する。 GPT-2、Llama2、Llama3を含む最先端のLLMによる実験では、KGTはレイテンシとGPUメモリコストを削減しつつ、パーソナライズ性能を著しく改善している。
  論文  参考訳（メタデータ） (2024-05-30T04:57:03Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  知識グラフ(KG) モデルパラメータの埋め込みはますますコストがかかる。 現在のプロンプト方式は、しばしばトライアル・アンド・エラー方式に依存している。 非順序線形化三重項は、流線型NLテキストと比較して、LLMのKG理解に有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• Chain of History: Learning and Forecasting with LLMs for Temporal Knowledge Graph Completion [24.545917737620197]
  時間知識グラフ補完(TKGC)は、将来のタイムスタンプにおけるイベントリンクの欠落を予測する複雑なタスクである。 本稿では,時間的知識グラフの推論において,大規模言語モデルの利点を活用するための総合的な視点を提供することを目的とする。
  論文  参考訳（メタデータ） (2024-01-11T17:42:47Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。