論文の概要: Large Language Model Enhanced Knowledge Representation Learning: A Survey

• arxiv url: http://arxiv.org/abs/2407.00936v4
• Date: Wed, 12 Mar 2025 05:48:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 16:44:42.867595
• Title: Large Language Model Enhanced Knowledge Representation Learning: A Survey
• Title（参考訳）: 大規模言語モデルによる知識表現学習の強化に関する調査
• Authors: Xin Wang, Zirui Chen, Haofen Wang, Leong Hou U, Zhao Li, Wenbin Guo,
• Abstract要約: 知識表現学習(KRL)は、知識グラフから下流タスクへの記号的知識の適用を可能にするために重要である。 この研究は、これらの進化する領域における新たな研究方向を同時に特定しながら、下流のタスクの広範な概要を提供する。
• 参考スコア（独自算出の注目度）: 15.602891714371342
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Knowledge Representation Learning (KRL) is crucial for enabling applications of symbolic knowledge from Knowledge Graphs (KGs) to downstream tasks by projecting knowledge facts into vector spaces. Despite their effectiveness in modeling KG structural information, KRL methods are suffering from the sparseness of KGs. The rise of Large Language Models (LLMs) built on the Transformer architecture presents promising opportunities for enhancing KRL by incorporating textual information to address information sparsity in KGs. LLM-enhanced KRL methods, including three key approaches, encoder-based methods that leverage detailed contextual information, encoder-decoder-based methods that utilize a unified Seq2Seq model for comprehensive encoding and decoding, and decoder-based methods that utilize extensive knowledge from large corpora, have significantly advanced the effectiveness and generalization of KRL in addressing a wide range of downstream tasks. This work provides a broad overview of downstream tasks while simultaneously identifying emerging research directions in these evolving domains.
• Abstract（参考訳）: 知識表現学習(KRL)は、知識事実をベクトル空間に投影することにより、知識グラフ(KG)から下流タスクへの記号的知識の適用を可能にするために重要である。 KG構造情報のモデリングの有効性にもかかわらず、KRL法はKGの疎度に悩まされている。 Transformerアーキテクチャ上に構築されたLarge Language Models (LLMs) の台頭は、KGの空間性に対処するためにテキスト情報を組み込むことで、KRLを拡張できる有望な機会を提供する。 LLMにより強化されたKRL法は,3つの主要なアプローチ,詳細なコンテキスト情報を活用するエンコーダベースの手法,包括的エンコードとデコードに統一されたSeq2Seqモデルを利用するエンコーダベースの手法,大規模コーパスからの広範な知識を活用するデコーダベースの手法などを含む,幅広い下流タスクに対処するKRLの有効性と一般化を著しく向上させた。 この研究は、これらの進化する領域における新たな研究方向を同時に特定しながら、下流のタスクの広範な概要を提供する。

関連論文リスト

• Path Pooling: Train-Free Structure Enhancement for Efficient Knowledge Graph Retrieval-Augmented Generation [19.239478003379478]
  大規模言語モデルは、現実世界の応用において幻覚や知識不足に悩まされる。 そこで我々は,新しい経路中心のプーリング操作を通じて構造情報を導入する,単純かつ自由な経路プーリング手法を提案する。 プラグイン・アンド・プレイ方式で既存のKG-RAGメソッドにシームレスに統合し、よりリッチな構造情報の利用を可能にする。
  論文  参考訳（メタデータ） (2025-03-07T07:48:30Z)
• GLTW: Joint Improved Graph Transformer and LLM via Three-Word Language for Knowledge Graph Completion [52.026016846945424]
  我々は、KGの構造情報をエンコードし、それを大規模言語モデルにマージするGLTWと呼ばれる新しい手法を提案する。 具体的には、局所構造情報とグローバル構造情報の両方を効果的に符号化する改良されたグラフ変換器(iGT)を導入する。 また,KG内のすべてのエンティティを分類対象として用いたサブグラフに基づく多分類学習目標を開発し,学習効率を向上する。
  論文  参考訳（メタデータ） (2025-02-17T06:02:59Z)
• Large Language Model for Qualitative Research -- A Systematic Mapping Study [3.302912592091359]
  先進的な生成AIを駆使した大規模言語モデル(LLM)がトランスフォーメーションツールとして登場した。 本研究は, LLMを用いた定性的研究に関する文献を体系的にマッピングする。 LLMは様々な分野にまたがって利用されており、プロセスの自動化の可能性を示している。
  論文  参考訳（メタデータ） (2024-11-18T21:28:00Z)
• Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Aggregated Knowledge Model: Enhancing Domain-Specific QA with Fine-Tuned and Retrieval-Augmented Generation Models [0.0]
  本稿では,クローズドドメイン質問応答システム(QA)の新たなアプローチを提案する。 ローレンス・バークレー国立研究所(LBL)科学情報技術(ScienceIT)ドメインの特定のニーズに焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-24T00:49:46Z)
• Comprehending Knowledge Graphs with Large Language Models for Recommender Systems [13.270018897057293]
  知識グラフを改善するために,CoLaKGと呼ばれる新しい手法を提案する。 項目中心のサブグラフ抽出とプロンプトエンジニアリングを用いることで、ローカル情報を正確に理解することができる。 さらに、意味に基づく検索モジュールを通じて、各項目は知識グラフ全体の関連項目によって濃縮される。
  論文  参考訳（メタデータ） (2024-10-16T04:44:34Z)
• A Survey on Multimodal Benchmarks: In the Era of Large AI Models [13.299775710527962]
  MLLM(Multimodal Large Language Models)は、人工知能に大きな進歩をもたらした。 この調査は、4つのコアドメイン(理解、推論、生成、アプリケーション)にわたるMLLMを評価する211のベンチマークを体系的にレビューする。
  論文  参考訳（メタデータ） (2024-09-21T15:22:26Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• A Survey on Symbolic Knowledge Distillation of Large Language Models [8.237773729114926]
  大規模言語モデルにおける記号的知識蒸留の出現と臨界領域に焦点を当てた調査。 知識の深みを理解可能なフォーマットで維持することを含む、中核的な課題について説明する。 この分野で開発された様々なアプローチや技法を精査する。
  論文  参考訳（メタデータ） (2024-07-12T12:18:19Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Leveraging Large Language Models for Semantic Query Processing in a Scholarly Knowledge Graph [1.7418328181959968]
  本研究は,革新的なセマンティッククエリ処理システムを開発することを目的としている。 オーストラリア国立大学のコンピュータサイエンス(CS)研究者による研究成果に関する総合的な情報を得ることができる。
  論文  参考訳（メタデータ） (2024-05-24T09:19:45Z)
• KG-RAG: Bridging the Gap Between Knowledge and Creativity [0.0]
  大規模言語モデルエージェント(LMA)は、情報幻覚、破滅的な忘れ込み、長いコンテキストの処理における制限といった問題に直面している。 本稿では,LMAの知識能力を高めるため,KG-RAG (Knowledge Graph-Retrieval Augmented Generation)パイプラインを提案する。 ComplexWebQuestionsデータセットに関する予備実験では、幻覚的コンテンツの削減において顕著な改善が示されている。
  論文  参考訳（メタデータ） (2024-05-20T14:03:05Z)
• Empowering Small-Scale Knowledge Graphs: A Strategy of Leveraging General-Purpose Knowledge Graphs for Enriched Embeddings [3.7759315989669058]
  汎用KGを用いた小規模ドメイン固有知識グラフの埋め込みを充実させるフレームワークを提案する。 実験では、Hits@10測定値で最大44%の上昇が観測された。 この比較的探索されていない研究方向は、知識集約的なタスクにおいて、KGのより頻繁な取り込みを触媒することができる。
  論文  参考訳（メタデータ） (2024-05-17T12:46:23Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• A Survey on Knowledge Distillation of Large Language Models [99.11900233108487]
  知識蒸留(KD)は、高度な能力をオープンソースモデルに転送するための重要な方法論である。 本稿では,大規模言語モデル(LLM)の領域におけるKDの役割を包括的に調査する。
  論文  参考訳（メタデータ） (2024-02-20T16:17:37Z)
• Advancing Graph Representation Learning with Large Language Models: A Comprehensive Survey of Techniques [37.60727548905253]
  グラフ表現学習(GRL)とLLM(Large Language Models)の統合は、複雑なデータ構造を分析する上で重要な進化である。 このコラボレーションは、LLMの洗練された言語機能を活用して、グラフモデルの文脈的理解と適応性を改善する。 LLMをグラフ領域に統合する研究団体が増えているにもかかわらず、コアコンポーネントとオペレーションを深く分析する包括的なレビューは特に欠落している。
  論文  参考訳（メタデータ） (2024-02-04T05:51:14Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• A Survey of Knowledge Tracing: Models, Variants, and Applications [70.69281873057619]
  知識追跡は、学生の行動データ分析の基本的なタスクの1つである。 我々は、異なる技術経路を持つ3種類の基本KTモデルを示す。 この急速に成長する分野における今後の研究の方向性について論じる。
  論文  参考訳（メタデータ） (2021-05-06T13:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。