論文の概要: REPAIR: Robust Editing via Progressive Adaptive Intervention and Reintegration
- arxiv url: http://arxiv.org/abs/2510.01879v1
- Date: Thu, 02 Oct 2025 10:35:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:21.092903
- Title: REPAIR: Robust Editing via Progressive Adaptive Intervention and Reintegration
- Title（参考訳）: REPAIR: プログレッシブ・アダプティブ・インターベンションと再統合によるロバスト編集
- Authors: Yisu Wang, Ming Wang, Haoyuan Song, Wenjie Huang, Chaozheng Wang, Yi Xie, Xuming Ran,
- Abstract要約: 大規模言語モデル(LLM)のポストトレーニングは、新しい知識の獲得やエラーの修正に高いコストで制約される。
この作業は、信頼性があり、スケーラブルで、継続的に進化するLLMを開発するための堅牢なフレームワークを導入します。
- 参考スコア（独自算出の注目度）: 11.462236606266567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Post-training for large language models (LLMs) is constrained by the high cost of acquiring new knowledge or correcting errors and by the unintended side effects that frequently arise from retraining. To address these issues, we introduce REPAIR (Robust Editing via Progressive Adaptive Intervention and Reintegration), a lifelong editing framework designed to support precise and low-cost model updates while preserving non-target knowledge. REPAIR mitigates the instability and conflicts of large-scale sequential edits through a closed-loop feedback mechanism coupled with dynamic memory management. Furthermore, by incorporating frequent knowledge fusion and enforcing strong locality guards, REPAIR effectively addresses the shortcomings of traditional distribution-agnostic approaches that often overlook unintended ripple effects. Our experiments demonstrate that REPAIR boosts editing accuracy by 10%-30% across multiple model families and significantly reduces knowledge forgetting. This work introduces a robust framework for developing reliable, scalable, and continually evolving LLMs.
- Abstract（参考訳）: 大規模言語モデル(LLM)のポストトレーニングは、新しい知識の獲得や誤りの修正に高いコストと、しばしば再トレーニングから生じる意図しない副作用によって制約される。
これらの問題に対処するため,我々は,非目標知識を維持しつつ,高精度で低コストなモデル更新をサポートするために設計された,生涯にわたる編集フレームワークであるREPAIR(Robust Editing via Progressive Adaptive Intervention and Reintegration)を紹介した。
REPAIRは、動的メモリ管理と組み合わせたクローズドループフィードバック機構を通じて、大規模なシーケンシャルな編集の不安定性と矛盾を緩和する。
さらに、頻繁な知識融合と強い局所性ガードの実施により、REPAIRは意図しない波及効果を無視する従来の分布に依存しないアプローチの欠点を効果的に解決する。
実験の結果,REPAIRは複数のモデルファミリ間で編集精度を10%から30%向上し,知識の忘れを著しく低減することがわかった。
この作業は、信頼性があり、スケーラブルで、継続的に進化するLLMを開発するための堅牢なフレームワークを導入します。
関連論文リスト
- MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。
我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。
MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
論文 参考訳（メタデータ） (2025-06-09T16:16:42Z) - Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
大規模言語モデル(LLM)は複雑な推論において非常に有望である。
一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。
本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
論文 参考訳（メタデータ） (2025-05-19T17:59:31Z) - GRU: Mitigating the Trade-off between Unlearning and Retention for LLMs [34.90826139012299]
非学習過程における更新の方向を規定する改良されたフレームワークであるグラデーション・リクティファイド・アンラーニング(GRU)を提案する。
GRUは簡単に実装でき、様々な確立された未学習ベンチマークで実践的な効果を示す。
論文 参考訳（メタデータ） (2025-03-12T07:08:54Z) - Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。
本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-04T03:16:02Z) - CoME: An Unlearning-based Approach to Conflict-free Model Editing [8.215201299292033]
大規模言語モデル(LLM)は、古い情報や事前訓練の誤った情報を保持することが多く、信頼性を損なう。
我々は,古い知識を選択的に除去することで,LLMにおける知識更新の精度を高める新しいフレームワークである,衝突のないモデル編集(CoME)を提案する。
論文 参考訳（メタデータ） (2025-02-20T04:55:38Z) - Temporal-Difference Variational Continual Learning [89.32940051152782]
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。