論文の概要: Learning to Edit Knowledge via Instruction-based Chain-of-Thought Prompting

• arxiv url: http://arxiv.org/abs/2604.05540v1
• Date: Tue, 07 Apr 2026 07:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.695549
• Title: Learning to Edit Knowledge via Instruction-based Chain-of-Thought Prompting
• Title（参考訳）: 学習者が学習する知識の学習
• Authors: Jinhu Fu, Yan Bai, Longzhu He, Yihang Lou, Yanxiao Zhao, Li Sun, Sen Su,
• Abstract要約: 大規模言語モデル(LLM)は知識編集によって時代遅れの情報を効果的に処理することができる。 現在のアプローチでは、モデルを効果的に活用して実用的な問題を解決することなく、厳格に新しい知識を注入している。 我々は、思考の連鎖(CoT)推論を通して知識を編集するLLMを教える新しいパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 18.981986320960754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can effectively handle outdated information through knowledge editing. However, current approaches face two key limitations: (I) Poor generalization: Most approaches rigidly inject new knowledge without ensuring that the model can use it effectively to solve practical problems. (II) Narrow scope: Current methods focus primarily on structured fact triples, overlooking the diverse unstructured forms of factual information (e.g., news, articles) prevalent in real-world contexts. To address these challenges, we propose a new paradigm: teaching LLMs to edit knowledge via Chain of Thoughts (CoTs) reasoning (CoT2Edit). We first leverage language model agents for both structured and unstructured edited data to generate CoTs, building high-quality instruction data. The model is then trained to reason over edited knowledge through supervised fine-tuning (SFT) and Group Relative Policy Optimization (GRPO). At inference time, we integrate Retrieval-Augmented Generation (RAG) to dynamically retrieve relevant edited facts for real-time knowledge editing. Experimental results demonstrate that our method achieves strong generalization across six diverse knowledge editing scenarios with just a single round of training on three open-source language models. The codes are available at https://github.com/FredJDean/CoT2Edit.
• Abstract（参考訳）: 大規模言語モデル(LLM)は知識編集によって時代遅れの情報を効果的に処理することができる。 しかしながら、現在のアプローチでは、2つの重要な制限に直面している。 (I) 貧弱な一般化: ほとんどのアプローチは、モデルを効果的に活用して実用的な問題を解決することなく、厳密に新しい知識を注入します。 (II) 狭い範囲: 現在の手法は主に構造化された事実三重項に焦点をあて、現実世界の文脈で広く見られる様々な非構造化された事実情報(ニュース、記事など)を見渡す。 これらの課題に対処するために、我々は、思考の連鎖(CoT)推論(CoT2Edit)を通して知識を編集するLLMを教える新しいパラダイムを提案する。 まず、構造化データと非構造化データの両方に言語モデルエージェントを活用してCoTを生成し、高品質な命令データを構築する。 このモデルは、教師付き微調整(SFT)とグループ相対政策最適化(GRPO)を通じて、編集された知識を推論するように訓練される。 推論時に,リアルタイムな知識編集を行うために,Retrieval-Augmented Generation (RAG) を統合し,関連する事実を動的に検索する。 実験の結果,提案手法は3つのオープンソース言語モデルに対して,たった1ラウンドのトレーニングで,6つの知識編集シナリオにまたがる強力な一般化を実現することが示された。 コードはhttps://github.com/FredJDean/CoT2Editで入手できる。

関連論文リスト

• Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
  本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。 CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。 次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
  論文  参考訳（メタデータ） (2025-12-19T15:18:07Z)
• Prompting is not Enough: Exploring Knowledge Integration and Controllable Generation [89.65955788873532]
  オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。 我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:18:33Z)
• Knowledge Editing through Chain-of-Thought [31.230769348268282]
  インコンテキスト編集(In-context editing)は、世界知識を維持するために、大きな言語モデル(LLM)を新しい情報で更新する技法である。 その可能性にもかかわらず、既存のコンテキスト内知識編集手法はしばしばタスク固有である。 本研究では,リトレーニングを伴わずに,様々なタスクにまたがるLSMを柔軟かつ効率的に更新する新しい知識編集フレームワークEditCoTを提案する。
  論文  参考訳（メタデータ） (2024-12-23T17:17:50Z)
• Has this Fact been Edited? Detecting Knowledge Edits in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• AKEW: Assessing Knowledge Editing in the Wild [79.96813982502952]
  AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。 知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。 大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
  論文  参考訳（メタデータ） (2024-02-29T07:08:34Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。