論文の概要: Reason-KE++: Aligning the Process, Not Just the Outcome, for Faithful LLM Knowledge Editing

• arxiv url: http://arxiv.org/abs/2511.12661v1
• Date: Sun, 16 Nov 2025 15:49:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.431603
• Title: Reason-KE++: Aligning the Process, Not Just the Outcome, for Faithful LLM Knowledge Editing
• Title（参考訳）: Reason-KE++: 忠実なLLM知識編集のためのプロセスの調整
• Authors: Yuchen Wu, Liang Ding, Li Shen, Dacheng Tao,
• Abstract要約: SFTに基づく手法、例えばReason-KEは「偽りのギャップ」に悩まされている。 このギャップにより、LLMの強力なパラメトリック先行は、新しい文脈事実をオーバーライドすることができる。 本稿では,プロセスレベルの忠実性を具現化するSFT+RLフレームワークReason-KE++を提案する。
• 参考スコア（独自算出の注目度）: 63.96040994220329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning Large Language Models (LLMs) to be faithful to new knowledge in complex, multi-hop reasoning tasks is a critical, yet unsolved, challenge. We find that SFT-based methods, e.g., Reason-KE, while state-of-the-art, suffer from a "faithfulness gap": they optimize for format mimicry rather than sound reasoning. This gap enables the LLM's powerful parametric priors to override new contextual facts, resulting in critical factual hallucinations (e.g., incorrectly reasoning "Houston" from "NASA" despite an explicit edit). To solve this core LLM alignment problem, we propose Reason-KE++, an SFT+RL framework that instills process-level faithfulness. Its core is a Stage-aware Reward mechanism that provides dense supervision for intermediate reasoning steps (e.g., Decomposition, Sub-answer Correctness). Crucially, we identify that naive outcome-only RL is a deceptive trap for LLM alignment: it collapses reasoning integrity (e.g., 19.00% Hop acc) while superficially boosting final accuracy. Our process-aware framework sets a new SOTA of 95.48% on MQUAKE-CF-3k (+5.28%), demonstrating that for complex tasks, aligning the reasoning process is essential for building trustworthy LLMs.
• Abstract（参考訳）: 複雑なマルチホップ推論タスクにおける新しい知識に忠実であるように、LLM(Large Language Models)を調整することは、決定的だが未解決の課題である。 SFTに基づく手法、例えばReason-KEは最先端の手法であるにもかかわらず、音の推論よりもフォーマットの模倣を最適化する"Fithfulness gap"に悩まされている。 このギャップは、LLMの強力なパラメトリック先行性によって、新しい文脈的事実をオーバーライドし、批判的な事実的幻覚をもたらす(例えば、明示的な編集にもかかわらず、"NASA"から"Houston"を誤って推論する)。 この中核的なLCMアライメント問題を解決するために,プロセスレベルの忠実さを具現化するSFT+RLフレームワークReason-KE++を提案する。 その中核はStage-aware Rewardメカニズムであり、中間推論ステップ(例えば、分解、サブアンサーの正しさ)の厳密な監視を提供する。 重要なことは, 結果のみのRLがLLMアライメントの偽りのトラップであり, 整合性(例えば, 19.00% Hop acc)を低下させると同時に, 最終的な精度を著しく向上させる。 プロセス認識フレームワークは、MQUAKE-CF-3k(+5.28%)に95.48%の新しいSOTAを設定し、複雑なタスクに対して、信頼できるLCMを構築するために、推論プロセスの整合性を示す。

関連論文リスト

• Can Aha Moments Be Fake? Identifying True and Decorative Thinking Steps in Chain-of-Thought [72.45900226435289]
  大きな言語モデル(LLM)は、テスト時に長いチェーン・オブ・ソート(CoT)を生成することができ、複雑なタスクを解決できる。 提案したTrue Thinking Score (TTS) を用いて、各推論ステップの段階的因果関係がモデルの最終予測に与える影響を測定する。 我々は、LLMの潜在空間におけるTrueThinking方向を同定し、モデルに特定のCoTステップの実行や無視を強制することができる。
  論文  参考訳（メタデータ） (2025-10-28T20:14:02Z)
• WakenLLM: Evaluating Reasoning Potential and Stability in LLMs via Fine-Grained Benchmarking [34.350505059394536]
  大規模言語モデル(LLM)は、推論タスクにおいて未知のラベルを頻繁に出力する。 我々は、モデル非能力に起因する未知の出力の一部を定量化するフレームワーク、WakenLLMを紹介した。
  論文  参考訳（メタデータ） (2025-07-22T03:21:48Z)
• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• Automatic Curriculum Expert Iteration for Reliable LLM Reasoning [60.60318625779015]
  幻覚(すなわち、可塑性だが不正確な内容を生成する)と怠慢(すなわち過剰な拒絶や「私は知らない」のデフォルト)は、LLM推論における主要な課題として残る。 幻覚を減らそうとする現在の取り組みは、主に知識に基づくタスクにおける事実的誤りに焦点を当てており、しばしば欠陥推論に関連する幻覚を無視している。 本稿では,LLM推論を強化し,モデルの能力に応答する自動カリキュラムエキスパートイテレーション(Auto-CEI)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T05:43:07Z)
• Can Large Language Models Reason? A Characterization via 3-SAT [11.422434149376478]
  大規模言語モデル(LLM)は高度な推論能力を持つAIモデルとして評価されている。 近年の研究では、LLMは、しばしばショートカットを使用した真の推論を回避し、懐疑論を引き起こすことが示されている。 本稿では,論理的推論と制約満足度タスクの中核に位置するNP完全問題である 3-SAT を中心にした実験プロトコルを提案する。
  論文  参考訳（メタデータ） (2024-08-13T21:54:10Z)
• Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs [95.07757789781213]
  LLMの複雑な推論には2行のアプローチが採用されている。 1行の作業は様々な推論構造を持つLLMを誘導し、構造出力は自然に中間推論ステップと見なすことができる。 他方の行では、LCMのない宣言的解法を用いて推論処理を行い、推論精度は向上するが、解法のブラックボックスの性質により解釈性に欠ける。 具体的には,Prologインタプリタが生成した中間検索ログにアクセスし,人間可読推論に解釈可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-16T11:26:21Z)
• Can ChatGPT Defend its Belief in Truth? Evaluating LLM Reasoning via Debate [19.887103433032774]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著なパフォーマンスを示している。 この研究は、LLMの推論を議論のような会話で議論することで検証する。 優れたパフォーマンスにもかかわらず、ChatGPTのようなLLMは、かなりの例において、真実に対する信念を維持できないことに気付きました。
  論文  参考訳（メタデータ） (2023-05-22T15:47:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。