論文の概要: KALE: Enhancing Knowledge Manipulation in Large Language Models via Knowledge-aware Learning

• arxiv url: http://arxiv.org/abs/2601.07430v1
• Date: Mon, 12 Jan 2026 11:19:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.356402
• Title: KALE: Enhancing Knowledge Manipulation in Large Language Models via Knowledge-aware Learning
• Title（参考訳）: KALE:知識認識学習による大規模言語モデルにおける知識操作の促進
• Authors: Qitan Lv, Tianyu Liu, Qiaosheng Zhang, Xingcheng Xu, Chaochao Lu,
• Abstract要約: 既存の手法は主に、知識操作能力を高めるためにラベル付きデータセット上でSupervised Fine-Tuning (SFT)を活用する。 知識グラフ(KG)を利用して高品質な合理性を生成する後学習フレームワークであるKALE(Knowledge-Aware LEarning)を提案する。 8つの人気のあるベンチマークの実験では、KALEの有効性が示され、精度は最大11.72%、平均4.18%向上した。
• 参考スコア（独自算出の注目度）: 25.305480838771285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the impressive performance of large language models (LLMs) pretrained on vast knowledge corpora, advancing their knowledge manipulation-the ability to effectively recall, reason, and transfer relevant knowledge-remains challenging. Existing methods mainly leverage Supervised Fine-Tuning (SFT) on labeled datasets to enhance LLMs' knowledge manipulation ability. However, we observe that SFT models still exhibit the known&incorrect phenomenon, where they explicitly possess relevant knowledge for a given question but fail to leverage it for correct answers. To address this challenge, we propose KALE (Knowledge-Aware LEarning)-a post-training framework that leverages knowledge graphs (KGs) to generate high-quality rationales and enhance LLMs' knowledge manipulation ability. Specifically, KALE first introduces a Knowledge-Induced (KI) data synthesis method that efficiently extracts multi-hop reasoning paths from KGs to generate high-quality rationales for question-answer pairs. Then, KALE employs a Knowledge-Aware (KA) fine-tuning paradigm that enhances knowledge manipulation by internalizing rationale-guided reasoning through minimizing the KL divergence between predictions with and without rationales. Extensive experiments on eight popular benchmarks across six different LLMs demonstrate the effectiveness of KALE, achieving accuracy improvements of up to 11.72% and an average of 4.18%.
• Abstract（参考訳）: 大きな言語モデル(LLM)の印象的な性能は膨大な知識コーパスで事前訓練されているにもかかわらず、知識の操作を効果的にリコールし、推論し、関連する知識を伝達する能力は困難である。 既存の手法は主にラベル付きデータセットのスーパービジョンファインチューニング(SFT)を活用し、LLMの知識操作能力を向上させる。 しかし, SFT モデルでは, 与えられた質問に対する関連知識を明示的に保持するが, 正解には利用できないという, 既知・誤誤現象がまだ残っている。 この課題に対処するために,知識グラフ(KG)を利用した学習後フレームワークであるKALE(Knowledge-Aware LEarning)を提案する。 具体的には、まず、KGsからマルチホップ推論経路を効率よく抽出し、質問応答対に対する高品質な理性を生成する知識誘導データ合成法(KI)を導入する。 そして、KALEは知識認識(Knowledge-Aware, KA)ファインチューニングパラダイムを採用し、合理的な推論を内部化し、有理な予測と無理な予測のKL分散を最小化する。 6つの異なるLSMにわたる8つの人気のあるベンチマークに関する大規模な実験は、KALEの有効性を示し、最大11.72%の精度向上と平均4.18%の精度向上を実現した。

関連論文リスト

• KUDA: Knowledge Unlearning by Deviating Representation for Large Language Models [26.418820118903852]
  大規模言語モデル(LLM)は、多種多様なコーパスの事前学習を通じて大量の知識を得る。 LLMのアンラーニングは、トレーニングデータにおける機密性、著作権、有害なコンテンツに関連するリスクを減らすための有望なテクニックである。 本研究では,LLMの知識レベルでの効果的な学習を実現するために,Deviating representAtion (KUDA) を用いた知識未学習を提案する。
  論文  参考訳（メタデータ） (2026-02-22T17:16:49Z)
• Hindsight Distillation Reasoning with Knowledge Encouragement Preference for Knowledge-based Visual Question Answering [55.368681418311894]
  既存の知識に基づくビジュアル質問回答 (KBVQA) 手法は、マルチモーダルな大規模言語モデル (MLLM) における暗黙的な知識をコンテキスト内学習または検索拡張生成による明示的な知識を介して利用する。 KEPO(Knowledge Encouragement Preference Optimization)を用いたHindsight Distilled Reasoning(HinD)フレームワークを提供する。 OK-VQAとA-OKVQAの実験によりHinDの有効性が検証され、7BサイズのMLLMから推論したHinDが商用モデルAPIや外部知識を使わずに優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-11-14T10:03:23Z)
• Refine Knowledge of Large Language Models via Adaptive Contrastive Learning [54.61213933999464]
  方法の主流は、大規模言語モデルの知識表現を最適化することで幻覚を減らすことである。 知識を精錬するモデルのプロセスは、人間の学習方法から大きな恩恵を受けることができると私たちは信じています。 人間の学習過程を模倣することで,適応的コントラスト学習戦略を設計する。
  論文  参考訳（メタデータ） (2025-02-11T02:19:13Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
  知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。 本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph [11.808990571175269]
  大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。 本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。 我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。