論文の概要: Edit Knowledge, Not Just Facts via Multi-Step Reasoning over Background Stories

• arxiv url: http://arxiv.org/abs/2602.02028v1
• Date: Mon, 02 Feb 2026 12:22:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.141261
• Title: Edit Knowledge, Not Just Facts via Multi-Step Reasoning over Background Stories
• Title（参考訳）: 背景ストーリーに対するマルチステップ推論によるファクトの編集知識
• Authors: Ya Gao, Kalle Kujanpää, Pekka Marttinen, Harri Valpola, Alexander Ilin,
• Abstract要約: 知識の内在化は記憶の問題というよりも推論問題であると主張する。 3つの原則に基づくトレーニング戦略を提案する。 実験により、この戦略で訓練されたモデルは、推論中に獲得した知識を効果的に活用できることが示されている。
• 参考スコア（独自算出の注目度）: 54.75026632028614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enabling artificial intelligence systems, particularly large language models, to integrate new knowledge and flexibly apply it during reasoning remains a central challenge. Existing knowledge editing approaches emphasize atomic facts, improving factual recall but often failing to integrate new information into a coherent framework usable across contexts. In this work, we argue that knowledge internalization is fundamentally a reasoning problem rather than a memorization problem. Consequently, a model should be trained in situations where the new information is instrumental to solving a task, combined with pre-existing knowledge, and exercised through multi-step reasoning. Based on this insight, we propose a training strategy based on three principles. First, new knowledge is introduced as a coherent background story that contextualizes novel facts and explains their relation to existing knowledge. Second, models are trained using self-generated multi-hop questions that require multi-step reasoning involving the new information. Third, training is done using knowledge distillation, forcing a student model to internalize the teacher's reasoning behavior without access to the novel information. Experiments show that models trained with this strategy effectively leverage newly acquired knowledge during reasoning and achieve remarkable performance on challenging questions that require combining multiple new facts.
• Abstract（参考訳）: 推論中に新しい知識を統合し、柔軟に適用するための人工知能システム、特に大きな言語モデルの開発は、依然として中心的な課題である。 既存の知識編集アプローチは、アトミックな事実を強調し、事実的リコールを改善するが、コンテキスト間で利用可能な一貫性のあるフレームワークに新しい情報を統合することに失敗することが多い。 本研究では,知識の内在化は基本的に記憶問題というよりも推論問題である,と論じる。 したがって、新しい情報がタスクの解決に役立ち、既存の知識と組み合わさって、多段階の推論を通じて実行される状況において、モデルは訓練されるべきである。 この知見に基づいて,3つの原則に基づくトレーニング戦略を提案する。 まず、新しい知識は、新しい事実を文脈化し、既存の知識との関係を説明するコヒーレントな背景物語として紹介される。 第二に、モデルは、新しい情報を含む多段階推論を必要とする自己生成のマルチホップ質問を用いて訓練される。 第3に、知識蒸留を用いて訓練を行い、新しい情報にアクセスすることなく、生徒モデルに教師の推論行動の内部化を強制する。 実験により、この戦略で訓練されたモデルは、推論中に獲得した知識を効果的に活用し、複数の新しい事実を組み合わせることを必要とする挑戦的な問題において、優れたパフォーマンスを達成することが示された。

関連論文リスト

• Stable Knowledge Editing in Large Language Models [68.98582618305679]
  本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
  論文  参考訳（メタデータ） (2024-02-20T14:36:23Z)
• The Effect of Masking Strategies on Knowledge Retention by Language Models [9.130890741447422]
  本稿では,事前学習タスクが言語モデルによって捉え,忘れられた知識量に与える影響を理解することを目的とする。 我々は,実際の質問に答える能力を測定することによって,モデルの知識保持を検証した。 我々の研究結果は、あるタスクを実行する能力と同様に、そのタスクでトレーニングされた知識は、あるモデルが別のタスクを実行するように訓練されたときに忘れられることを示した。
  論文  参考訳（メタデータ） (2023-06-12T15:35:23Z)
• Leveraging Skill-to-Skill Supervision for Knowledge Tracing [13.753990664747265]
  知識追跡は知的学習システムにおいて重要な役割を担っている。 知識追跡モデルの最近の進歩は、問題解決の歴史をよりうまく活用することを可能にしている。 知識を直接組み込む知識トレースアルゴリズムは、限られたデータやコールドスタートの設定において重要である。
  論文  参考訳（メタデータ） (2023-06-12T03:23:22Z)
• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Knowledge-Grounded Dialogue with Reward-Driven Knowledge Selection [1.1633929083694388]
  Knoformerは強化学習に基づく対話応答生成モデルである。 知識プールから1つ以上の関連する知識を自動的に選択することができ、トレーニング中に知識ラベルを必要としない。
  論文  参考訳（メタデータ） (2021-08-31T08:53:08Z)
• Incremental Knowledge Based Question Answering [52.041815783025186]
  人間と同じように学習能力を段階的に拡張できるインクリメンタルKBQA学習フレームワークを提案します。 具体的には、破滅的な忘れ問題を克服するために、マージン希釈損失と協調選択方法からなる。 包括的な実験は、進化する知識ベースに取り組む際にその効果と効率を示す。
  論文  参考訳（メタデータ） (2021-01-18T09:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。