論文の概要: Large Language Model Enhanced Knowledge Representation Learning: A Survey

• arxiv url: http://arxiv.org/abs/2407.00936v2
• Date: Thu, 18 Jul 2024 02:19:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 20:12:48.466837
• Title: Large Language Model Enhanced Knowledge Representation Learning: A Survey
• Title（参考訳）: 大規模言語モデルによる知識表現学習の強化に関する調査
• Authors: Xin Wang, Zirui Chen, Haofen Wang, Leong Hou U, Zhao Li, Wenbin Guo,
• Abstract要約: 言語モデルと知識表現学習(KRL)の統合は、人工知能(AI)分野における大きな進歩を示している。 LLMによるKRLの強化に関する研究が増えているにもかかわらず、これらの強化されたモデルのプロセスを分析する徹底的な調査は、顕著に欠落している。 3つの異なるトランスフォーマーアーキテクチャに基づいてこれらのモデルを分類し、様々なKRL下流タスクからの実験データを解析し、それぞれのアプローチの長所と短所を評価することで、この問題に対処する。
• 参考スコア（独自算出の注目度）: 15.602891714371342
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The integration of Large Language Models (LLM) with Knowledge Representation Learning (KRL) signifies a significant advancement in the field of artificial intelligence (AI), enhancing the ability to capture and utilize both structure and textual information. Despite the increasing research on enhancing KRL with LLMs, a thorough survey that analyse processes of these enhanced models is conspicuously absent. Our survey addresses this by categorizing these models based on three distinct Transformer architectures, and by analyzing experimental data from various KRL downstream tasks to evaluate the strengths and weaknesses of each approach. Finally, we identify and explore potential future research directions in this emerging yet underexplored domain.
• Abstract（参考訳）: LLM(Large Language Models)と知識表現学習(KRL)の統合は、人工知能(AI)分野における重要な進歩を意味し、構造情報とテキスト情報の両方を捕捉し活用する能力を高める。 LLMによるKRLの強化に関する研究が増えているにもかかわらず、これらの強化されたモデルのプロセスを分析する徹底的な調査は、顕著に欠落している。 3つの異なるトランスフォーマーアーキテクチャに基づいてこれらのモデルを分類し、様々なKRL下流タスクからの実験データを解析し、それぞれのアプローチの長所と短所を評価することで、この問題に対処する。 最後に、この未発見領域における将来的な研究の方向性を特定し、探求する。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Comprehending Knowledge Graphs with Large Language Models for Recommender Systems [13.270018897057293]
  知識グラフを改善するために,CoLaKGと呼ばれる新しい手法を提案する。 CoLaKGは大規模な言語モデル(LLM)を使用してKGベースのレコメンデーションを改善する。
  論文  参考訳（メタデータ） (2024-10-16T04:44:34Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Leveraging Large Language Models for Semantic Query Processing in a Scholarly Knowledge Graph [1.7418328181959968]
  本研究は,革新的なセマンティッククエリ処理システムを開発することを目的としている。 オーストラリア国立大学のコンピュータサイエンス(CS)研究者による研究成果に関する総合的な情報を得ることができる。
  論文  参考訳（メタデータ） (2024-05-24T09:19:45Z)
• KG-RAG: Bridging the Gap Between Knowledge and Creativity [0.0]
  大規模言語モデルエージェント(LMA)は、情報幻覚、破滅的な忘れ込み、長いコンテキストの処理における制限といった問題に直面している。 本稿では,LMAの知識能力を高めるため,KG-RAG (Knowledge Graph-Retrieval Augmented Generation)パイプラインを提案する。 ComplexWebQuestionsデータセットに関する予備実験では、幻覚的コンテンツの削減において顕著な改善が示されている。
  論文  参考訳（メタデータ） (2024-05-20T14:03:05Z)
• Empowering Small-Scale Knowledge Graphs: A Strategy of Leveraging General-Purpose Knowledge Graphs for Enriched Embeddings [3.7759315989669058]
  汎用KGを用いた小規模ドメイン固有知識グラフの埋め込みを充実させるフレームワークを提案する。 実験では、Hits@10測定値で最大44%の上昇が観測された。 この比較的探索されていない研究方向は、知識集約的なタスクにおいて、KGのより頻繁な取り込みを触媒することができる。
  論文  参考訳（メタデータ） (2024-05-17T12:46:23Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• A Survey on Knowledge Distillation of Large Language Models [99.11900233108487]
  知識蒸留(KD)は、高度な能力をオープンソースモデルに転送するための重要な方法論である。 本稿では,大規模言語モデル(LLM)の領域におけるKDの役割を包括的に調査する。
  論文  参考訳（メタデータ） (2024-02-20T16:17:37Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。