論文の概要: CRANE: Knowledge Editing for Reasoning MLLMs
- arxiv url: http://arxiv.org/abs/2606.09033v1
- Date: Mon, 08 Jun 2026 05:01:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.705296
- Title: CRANE: Knowledge Editing for Reasoning MLLMs
- Title(参考訳): CRANE:MLLMの推論のための知識編集
- Authors: Han Huang, Hao Wang, Mengqi Zhang, Shu Wu, Qiang Liu, Liang Wang,
- Abstract要約: マルチモーダルな大言語モデル(MLLM)は、回答を生成する前に明示的なチェーン・オブ・シークレット(CoT)推論を生成する。
MLLMの推論では、(FT, LoRA)を一般化する手法はフォーマットの崩壊を引き起こすが、深い修正のない手法は一般化できない。
本稿では,CRANEを提案する。
- 参考スコア(独自算出の注目度): 37.084419383244814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emergence of reasoning multimodal large language models (MLLMs), which generate explicit chain-of-thought (CoT) reasoning before producing answers, has introduced a new challenge for knowledge editing: methods that appear successful under traditional metrics (teacher-forcing accuracy up to 100%) can fail severely when the model's reasoning process is examined (Grounded Success as low as 0%). We identify three failure modes: (1) Structural Collapse, where weight-modifying methods destroy the CoT format; (2) Cognitive Dissonance, where the model's reasoning chain actively rejects the injected edit fact based on visual evidence; and (3) Shallow Internalization, where methods succeed on exact queries but fail on rephrase or multi-hop variants. On reasoning MLLMs, these modes interact: methods that generalize (FT, LoRA) trigger format collapse, while methods without deep modification cannot generalize. To expose these failures, we propose a CoT-aware evaluation protocol and construct ReasonEdit-Bench, with conflict stratification, multi-level probes, and multi-hop portability tests. We propose CRANE, a retrieval-augmented framework that requires no per-edit parameter modification. CRANE combines a modality-aware dual-library retrieval system with a two-phase training strategy: Supervised Fine-Tuning (SFT) for structural initialization, followed by GRPO with a Cognitive Routing Reward that trains the model to arbitrate between visual priors and injected edit facts. On ReasonEdit-Bench, CRANE achieves 96.9% Grounded Success on conflict scenarios and 96.9% intermediate entity usage in multi-hop chains, with 97.6% text-locality and 68.1% image-locality Edit Independence. On the out-of-distribution MMEVOKE benchmark, CRANE reaches 87.0% under gold retrieval.
- Abstract(参考訳): 回答を生成する前に明確なチェーン・オブ・シークレット(CoT)推論を生成するMLLMの出現は、知識編集に新たな課題をもたらしている。従来のメトリクス(教師強制精度を最大100%まで)で成功したメソッドは、モデルの推論プロセスが検査された時に深刻な失敗をする可能性がある(Grounded Successは0%以下)。
1) 重み修正法がCoTフォーマットを破壊する構造的崩壊,(2) モデルの推論チェーンが視覚的証拠に基づいて挿入された編集事実を積極的に拒否する認知的不協和,(3) メソッドが正確なクエリで成功するが、リフレーズやマルチホップの変種で失敗する内部化,の3つの障害モードを同定する。
MLLMの推論では、これらのモードは相互作用する: (FT, LoRA) を一般化するメソッドはフォーマットの崩壊を引き起こすが、深い修正を行わないメソッドは一般化できない。
これらの障害を明らかにするため、CoT対応評価プロトコルを提案し、競合階層化、マルチレベルプローブ、マルチホップポータビリティテストを備えたReasonEdit-Benchを構築した。
本稿では,CRANEを提案する。
CRANEは、モダリティを意識したデュアルライブラリ検索システムと、2段階のトレーニング戦略を組み合わせた: 構造初期化のための監視ファインチューニング(SFT)、そして認知ルーティングリワード(Cognitive Routing Reward)を備えたGRPOは、モデルに視覚的先行と挿入された編集事実を調停するよう訓練する。
ReasonEdit-Benchでは、コンフリクトのシナリオで96.9%、マルチホップチェーンで96.9%、テキスト局所性97.6%、画像局所性68.1%が編集独立している。
アウト・オブ・ディストリビューションのMMEVOKEベンチマークでは、CRANEは金の回収で87.0%に達した。
関連論文リスト
- AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である
既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。
我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
論文 参考訳(メタデータ) (2026-05-25T08:26:34Z) - ReLoop: Structured Modeling and Behavioral Verification for Reliable LLM-Based Optimization [6.572539312871392]
大規模言語モデル(LLM)は、自然言語を最適化コードに変換することができるが、サイレント障害は重大なリスクをもたらす。
2つの相補的な方向からサイレント障害に対処するReLoopを紹介します。
論文 参考訳(メタデータ) (2026-02-17T20:20:33Z) - CRAFT: Calibrated Reasoning with Answer-Faithful Traces via Reinforcement Learning for Multi-Hop Question Answering [19.391824811629125]
Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)をマルチホップ質問応答に利用するために広く使われている。
マルチホップQAにおける推論は,マルチホップ構成により本質的に複雑であり,ノイズ検索によりさらに不安定となる。
CRAFTは、応答生成時に忠実な推論を行うためにモデルを訓練する強化学習フレームワークである。
論文 参考訳(メタデータ) (2026-02-01T17:33:39Z) - VERGE: Formal Refinement and Guidance Engine for Verifiable LLM Reasoning [4.3414302048068745]
本稿では,大規模言語モデルとSMTソルバを組み合わせたニューロシンボリック・フレームワークを提案する。
本稿では,(1)形式的意味的等価性チェックによるマルチモデルコンセンサス,(2)適切な検証戦略に異なるクレーム型を指示するセマンティックルーティング,(3)最小補正サブセットによる正確な論理的エラーローカライゼーション,の3点を紹介する。
GPT-OSS-120Bモデルでは、VERGEはシングルパスアプローチと比較して、一連の推論ベンチマークにおいて平均18.7%の性能向上を示す。
論文 参考訳(メタデータ) (2026-01-27T20:59:11Z) - KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering [64.62317305868264]
テキスト模倣から強化学習によるインタラクション最適化へパラダイムをシフトするフレームワークである textbfKBQA-R1 を提案する。
KBQAを多ターン決定プロセスとして扱うことで,行動のリストを用いて知識ベースをナビゲートすることを学ぶ。
WebQSP、GrailQA、GraphQuestionsの実験では、KBQA-R1が最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-12-10T17:45:42Z) - Keys to Robust Edits: from Theoretical Insights to Practical Advances [20.10464264597003]
大規模言語モデル(LLM)は、矛盾/時代遅れのパラメトリック記憶のために正確な知識を維持するのに苦労する。
当社のソリューションでは,ネイティブモデル表現から編集キーをアンタングルするプラグイン・アンド・プレイモジュールである textitRobust Edit Pathway (REP) を導入しています。
論文 参考訳(メタデータ) (2024-10-12T02:54:12Z) - Disperse-Then-Merge: Pushing the Limits of Instruction Tuning via Alignment Tax Reduction [75.25114727856861]
大規模言語モデル(LLM)は、スーパービジョンされた微調整プロセスの後半で劣化する傾向にある。
この問題に対処するための単純な分散結合フレームワークを導入する。
我々のフレームワークは、一連の標準知識と推論ベンチマークに基づいて、データキュレーションや正規化の訓練など、様々な高度な手法より優れています。
論文 参考訳(メタデータ) (2024-05-22T08:18:19Z) - Chain of Evidences and Evidence to Generate: Prompting for Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
チェイン・オブ・エビデンス(CoE)とエビデンス・トゥ・ジェネレーション(E2G)は2つのユニークな戦略に基づいて構築されている。
根拠のない推論の主張の代わりに、我々の革新的なアプローチは「意思決定の証拠」の力を利用する。
我々のフレームワークは、様々な知識集約的推論および生成タスクにおいて、常に顕著な結果を達成する。
論文 参考訳(メタデータ) (2024-01-11T09:49:15Z) - DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。
まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。
特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
論文 参考訳(メタデータ) (2024-01-10T14:38:46Z) - RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by
Reversing Chain-of-Thought [56.558892336235914]
Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。
RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。
手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-05-19T08:02:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。