論文の概要: From Fact Overwriting to Knowledge Evolution: Causal Editing via On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2605.28303v1
• Date: Wed, 27 May 2026 10:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.989777
• Title: From Fact Overwriting to Knowledge Evolution: Causal Editing via On-Policy Self-Distillation
• Title（参考訳）: ファクトオーバーライトから知識進化へ:オンライン自己蒸留による因果編集
• Authors: Shuaike Li, Kai Zhang, Xianquan Wang, Jiachen Liu, Shengpeng Mo,
• Abstract要約: 我々は、明確な因果関係の物語の更新が、この紛争率を6.6%に事実上崩壊させると論じている。 因果ブートストラップと非対称なオン・ポリケート蒸留を結合することにより、CODEは因果遷移論理を直接パラメトリックメモリに彫る。 LLaMA-3.1とQwen-2.5の実験では、CODEは堅牢なマルチホップ精度(最大83.5%)を確保しながら、自己難燃を1.8%まで劇的に抑制している。
• 参考スコア（独自算出の注目度）: 16.90731954751356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Knowledge Editing (KE) enables efficient updates, its dominant Static Fact Overwriting paradigm treats LLMs as discrete databases, forcibly injecting isolated facts. Fracturing pre-trained logical topologies, this triggers Epistemic Dissonance -- a pathology where un-evolved legacy priors force the model to explicitly negate the injected update. Idealized interventions reveal that this is an inherent structural flaw rather than mere algorithmic noise, with a zero-distortion proxy yielding a catastrophic 95.6% self-refutation rate. Given the causally driven nature of real-world knowledge, grounding updates in explicit causal narratives effectively collapses this conflict rate to just 6.6%, underscoring the imperative for a paradigm shift toward Causal Editing. To internalize this evolution, we propose CODE (Causal On-policy Distillation for Editing). By coupling causal bootstrapping with asymmetric on-policy distillation, CODE engraves causal transition logic directly into parametric memory. Experiments on LLaMA-3.1 and Qwen-2.5 show CODE drastically suppresses self-refutation to 1.8% while securing robust multi-hop accuracy (up to 83.5%), seamlessly transforming discrete fact injection into coherent knowledge evolution. Code is available at https://github.com/CrashBugger/CODE.
• Abstract（参考訳）: 知識編集(KE)は効率的な更新を可能にするが、支配的な静的 Fact Overwriting パラダイムは LLM を独立したデータベースとして扱い、強制的に独立した事実を注入する。 事前トレーニングされた論理トポロジを区別することで、エピステミック不協和(Epstemic Dissonance)が引き起こされる。 理想的な介入は、これは単なるアルゴリズムノイズではなく構造的な欠陥であり、破壊的な95.6%の自己難燃率をもたらすゼロ歪みのプロキシであることを示している。 現実世界の知識の因果的に引き起こされた性質を考えると、明確な因果的物語の更新は、この衝突率を6.6%に事実上崩壊させ、因果的編集へのパラダイムシフトの衝動を暗示している。 この進化を内在化するために、我々はCODE(Causal On-policy Distillation for Editing)を提案する。 因果ブートストラップと非対称なオン・ポリケート蒸留を結合することにより、CODEは因果遷移論理を直接パラメトリックメモリに彫る。 LLaMA-3.1とQwen-2.5の実験では、CODEは堅牢なマルチホップ精度(最大83.5%)を確保しながら、自己難燃を劇的に1.8%まで抑制し、離散的な事実注入をシームレスにコヒーレントな知識進化へと変換している。 コードはhttps://github.com/CrashBugger/CODE.comで入手できる。

関連論文リスト

• AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
  Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である 既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。 我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:26:34Z)
• Learn by Surprise, Commit by Proof [0.0]
  本稿では,自律的知識獲得のための自己学習後フレームワークを提案する。 通路が異常に高いパートーケン損失を発生させると、L SCPはそれをフラグ化し、モデルに自身の知識を明確にさせるQ&A連鎖を生成する。 学習強度は1つのパラメータ$r$で管理される。
  論文  参考訳（メタデータ） (2026-04-02T12:17:10Z)
• OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions [0.0]
  シーケンシャルなモデリングにおいて優れたトランスフォーマーアーキテクチャは、相関学習によって基本的に制限される。 そこで我々はOrthoFormerを提案する。OrthoFormerは機械的変数推定をニューラル制御機能を介してTransformerブロックに直接組み込む因果的基底アーキテクチャである。
  論文  参考訳（メタデータ） (2026-03-08T03:05:16Z)
• Reasoning or Rationalization? The Role of Justifications in Masked Diffusion Models for Fact Verification [0.0]
  マスケ拡散言語モデル(Masked Diffusion Language Models)は、トークンを逐次生成し、推論に先立って答える戦略の恩恵を受ける。 拡散過程の早い段階でMDLMは検証に収束し, 正当化が完了する前に解決される大域的アンカーとして扱う。 実験の結果、このモデルは56%のケースで誤った強制判断を合理化しており、判定は正当性に強く依存していることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-01T17:18:05Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• In Praise of Stubbornness: An Empirical Case for Cognitive-Dissonance Aware Continual Update of Knowledge in LLMs [12.126745558519737]
  大きな言語モデルは矛盾を無差別に受け入れ、破壊的な干渉を引き起こし、最大80%の無関係な知識を破壊します。 我々は,単純なモデル特徴を用いて矛盾情報を確実に検出できることを実証し,潜在的な保護機構を提供する。 これらの発見は、人間のように、破壊的な上書きを許すのではなく、自然に矛盾に抵抗できる新しいアーキテクチャを動機付けている。
  論文  参考訳（メタデータ） (2025-02-05T23:49:33Z)
• Federated Causal Discovery from Heterogeneous Data [70.31070224690399]
  任意の因果モデルと異種データに対応する新しいFCD法を提案する。 これらのアプローチには、データのプライバシを保護するために、生データのプロキシとして要約統計を構築することが含まれる。 提案手法の有効性を示すために, 合成および実データを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-02-20T18:53:53Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。