論文の概要: Conflict-Resolving and Sharpness-Aware Minimization for Generalized Knowledge Editing with Multiple Updates

• arxiv url: http://arxiv.org/abs/2602.03696v1
• Date: Tue, 03 Feb 2026 16:18:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.569495
• Title: Conflict-Resolving and Sharpness-Aware Minimization for Generalized Knowledge Editing with Multiple Updates
• Title（参考訳）: 複数更新による汎用知識編集における競合解消とシャープネス認識の最小化
• Authors: Duy Nguyen, Hanqi Xiao, Archiki Prasad, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal,
• Abstract要約: CoRSAは、複数の更新を伴う知識編集のためのパラメータ効率が高く、全体的なアプローチである。 異なる入力形式への一般化を改善し、複数の更新の安定性を向上させる。 CoRSAはまた、コードドメインに一般化し、更新の有効性において5.48%のPass@5で最強のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 69.6610686845008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) rely on internal knowledge to solve many downstream tasks, making it crucial to keep them up to date. Since full retraining is expensive, prior work has explored efficient alternatives such as model editing and parameter-efficient fine-tuning. However, these approaches often break down in practice due to poor generalization across inputs, limited stability, and knowledge conflict. To address these limitations, we propose the CoRSA (Conflict-Resolving and Sharpness-Aware Minimization) training framework, a parameter-efficient, holistic approach for knowledge editing with multiple updates. CoRSA tackles multiple challenges simultaneously: it improves generalization to different input forms and enhances stability across multiple updates by minimizing loss curvature, and resolves conflicts by maximizing the margin between new and prior knowledge. Across three widely used fact editing benchmarks, CoRSA achieves significant gains in generalization, outperforming baselines with average absolute improvements of 12.42% over LoRA and 10% over model editing methods. With multiple updates, it maintains high update efficacy while reducing catastrophic forgetting by 27.82% compared to LoRA. CoRSA also generalizes to the code domain, outperforming the strongest baseline by 5.48% Pass@5 in update efficacy.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くの下流タスクを解決するために内部知識に依存しているため、それらを最新の状態に保つことが不可欠である。 フルリトレーニングは高価であるため、モデル編集やパラメータ効率のよい微調整といった効率的な代替策が検討されている。 しかしながら、これらのアプローチは、入力間の一般化の欠如、安定性の制限、知識の衝突などにより、実際は崩壊することが多い。 このような制約に対処するため,複数更新による知識編集のためのパラメータ効率,包括的アプローチであるCoRSA(Conflict-Resolving and Sharpness-Aware Minimization)トレーニングフレームワークを提案する。 CoRSAは、異なる入力形式への一般化を改善し、損失曲率を最小化することで複数の更新の安定性を高め、新しい知識と以前の知識のマージンを最大化することで競合を解決する。 広く使われている3つの事実編集ベンチマークの中で、CoRSAは一般化において大きな進歩を遂げ、LoRAよりも平均12.42%改善し、モデル編集手法より10%向上した。 複数の更新によって、LoRAと比較して破滅的な忘れ込みを27.82%削減し、高い更新効率を維持している。 CoRSAはまた、コードドメインに一般化し、更新の有効性において5.48%のPass@5で最強のベースラインを上回っている。

関連論文リスト

• REPAIR: Robust Editing via Progressive Adaptive Intervention and Reintegration [11.462236606266567]
  大規模言語モデル(LLM)のポストトレーニングは、新しい知識の獲得やエラーの修正に高いコストで制約される。 この作業は、信頼性があり、スケーラブルで、継続的に進化するLLMを開発するための堅牢なフレームワークを導入します。
  論文  参考訳（メタデータ） (2025-10-02T10:35:39Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Accelerating Automatic Program Repair with Dual Retrieval-Augmented Fine-Tuning and Patch Generation on Large Language Models [28.75106676284909]
  新たに設計されたデュアルRAGモジュールと微調整LDMを統合した新しいAPR手法であるSelRepairを提案する。 このアプローチでは、バグフィックスペアデータセットを微調整に使用し、RAG選択ゲートを通じて意味的および構文的/構造的類似情報を組み込む。 Javaデータセットの評価では、SelRepairは他のAPRメソッドよりも優れており、異なるデータセット上での正確なマッチング(EM)で26.29%と17.64%を達成し、制御された入力長で推論時間を少なくとも6.42%削減している。
  論文  参考訳（メタデータ） (2025-07-14T09:41:51Z)
• Perception-Aware Policy Optimization for Multimodal Reasoning [79.56070395437898]
  現在のマルチモーダル推論における誤りの主な原因は、視覚入力の知覚にある。 提案するPAPOは,モデルが推論を学習しながら知覚を学習することを奨励する,新しいポリシー勾配アルゴリズムである。 知覚誤りの30.5%が有意に減少し,PAPOによる知覚能力の向上が示唆された。
  論文  参考訳（メタデータ） (2025-07-08T23:22:34Z)
• Towards Understanding Bugs in Distributed Training and Inference Frameworks for Large Language Models [7.486731499255164]
  本稿では,DeepSpeed,Megatron-LM,Colossal-AIの3つの分散トレーニング/推論フレームワークを対象に,308の固定バグの大規模解析を行った。 本研究は, バグ症状, 根本原因, バグの特定と修正の取り組み, および, 一般的な低ストレス修正戦略について検討する。
  論文  参考訳（メタデータ） (2025-06-12T07:24:59Z)
• Enhancing Learned Knowledge in LoRA Adapters Through Efficient Contrastive Decoding on Ascend NPUs [12.995753143157083]
  Contrastive LoRA Decoding (CoLD) は、LoRA適応モデルにおけるタスク固有の知識の使用を最大化するために設計された、新しいデコーディングフレームワークである。 CoLDはタスクの精度を最大5.54%向上し、エンドツーエンドのレイテンシを28%削減する。
  論文  参考訳（メタデータ） (2025-05-20T17:11:18Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• O-Edit: Orthogonal Subspace Editing for Language Model Sequential Editing [0.0]
  大規模言語モデル(LLM)は、事前訓練中に知識を取得するが、時間が経つにつれて、この知識は誤りまたは時代遅れになり、訓練後に更新が必要になる。 このアルゴリズムは、各知識更新の方向をアルゴリズム化し、逐次更新間の干渉を最小限にし、新しい更新が無関係な知識に与える影響を減らす。 メインストリームのLCM上で数千の編集を行うことができ、既存のメソッドの4.2倍の性能向上を実現し、下流のタスクでモデルのパフォーマンスを効果的に保ち、パラメータのオーバーヘッドを最小限に抑えることができる。
  論文  参考訳（メタデータ） (2024-10-15T10:16:45Z)
• Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
  推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。 入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。 私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
  論文  参考訳（メタデータ） (2024-03-04T16:21:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。