論文の概要: KALE: Enhancing Knowledge Manipulation in Large Language Models via Knowledge-aware Learning

• arxiv url: http://arxiv.org/abs/2601.07430v1
• Date: Mon, 12 Jan 2026 11:19:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.356402
• Title: KALE: Enhancing Knowledge Manipulation in Large Language Models via Knowledge-aware Learning
• Title（参考訳）: KALE:知識認識学習による大規模言語モデルにおける知識操作の促進
• Authors: Qitan Lv, Tianyu Liu, Qiaosheng Zhang, Xingcheng Xu, Chaochao Lu,
• Abstract要約: 既存の手法は主に、知識操作能力を高めるためにラベル付きデータセット上でSupervised Fine-Tuning (SFT)を活用する。 知識グラフ(KG)を利用して高品質な合理性を生成する後学習フレームワークであるKALE(Knowledge-Aware LEarning)を提案する。 8つの人気のあるベンチマークの実験では、KALEの有効性が示され、精度は最大11.72%、平均4.18%向上した。
• 参考スコア（独自算出の注目度）: 25.305480838771285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the impressive performance of large language models (LLMs) pretrained on vast knowledge corpora, advancing their knowledge manipulation-the ability to effectively recall, reason, and transfer relevant knowledge-remains challenging. Existing methods mainly leverage Supervised Fine-Tuning (SFT) on labeled datasets to enhance LLMs' knowledge manipulation ability. However, we observe that SFT models still exhibit the known&incorrect phenomenon, where they explicitly possess relevant knowledge for a given question but fail to leverage it for correct answers. To address this challenge, we propose KALE (Knowledge-Aware LEarning)-a post-training framework that leverages knowledge graphs (KGs) to generate high-quality rationales and enhance LLMs' knowledge manipulation ability. Specifically, KALE first introduces a Knowledge-Induced (KI) data synthesis method that efficiently extracts multi-hop reasoning paths from KGs to generate high-quality rationales for question-answer pairs. Then, KALE employs a Knowledge-Aware (KA) fine-tuning paradigm that enhances knowledge manipulation by internalizing rationale-guided reasoning through minimizing the KL divergence between predictions with and without rationales. Extensive experiments on eight popular benchmarks across six different LLMs demonstrate the effectiveness of KALE, achieving accuracy improvements of up to 11.72% and an average of 4.18%.
• Abstract（参考訳）: 大きな言語モデル(LLM)の印象的な性能は膨大な知識コーパスで事前訓練されているにもかかわらず、知識の操作を効果的にリコールし、推論し、関連する知識を伝達する能力は困難である。 既存の手法は主にラベル付きデータセットのスーパービジョンファインチューニング(SFT)を活用し、LLMの知識操作能力を向上させる。 しかし, SFT モデルでは, 与えられた質問に対する関連知識を明示的に保持するが, 正解には利用できないという, 既知・誤誤現象がまだ残っている。 この課題に対処するために,知識グラフ(KG)を利用した学習後フレームワークであるKALE(Knowledge-Aware LEarning)を提案する。 具体的には、まず、KGsからマルチホップ推論経路を効率よく抽出し、質問応答対に対する高品質な理性を生成する知識誘導データ合成法(KI)を導入する。 そして、KALEは知識認識(Knowledge-Aware, KA)ファインチューニングパラダイムを採用し、合理的な推論を内部化し、有理な予測と無理な予測のKL分散を最小化する。 6つの異なるLSMにわたる8つの人気のあるベンチマークに関する大規模な実験は、KALEの有効性を示し、最大11.72%の精度向上と平均4.18%の精度向上を実現した。

関連論文リスト

• Hindsight Distillation Reasoning with Knowledge Encouragement Preference for Knowledge-based Visual Question Answering [55.368681418311894]
  既存の知識に基づくビジュアル質問回答 (KBVQA) 手法は、マルチモーダルな大規模言語モデル (MLLM) における暗黙的な知識をコンテキスト内学習または検索拡張生成による明示的な知識を介して利用する。 KEPO(Knowledge Encouragement Preference Optimization)を用いたHindsight Distilled Reasoning(HinD)フレームワークを提供する。 OK-VQAとA-OKVQAの実験によりHinDの有効性が検証され、7BサイズのMLLMから推論したHinDが商用モデルAPIや外部知識を使わずに優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-11-14T10:03:23Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
  知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。 本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。