論文の概要: Reversible Lifelong Model Editing via Semantic Routing-Based LoRA

• arxiv url: http://arxiv.org/abs/2603.11239v1
• Date: Wed, 11 Mar 2026 19:04:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.601226
• Title: Reversible Lifelong Model Editing via Semantic Routing-Based LoRA
• Title（参考訳）: セマンティックルーティングに基づくLORAによる可逆寿命モデル編集
• Authors: Haihua Luo, Xuming Ran, Tommi Kärkkäinen, Zhonghua Chen, Jiangrong Shen, Qi Xu, Fengyu Cong,
• Abstract要約: 寿命モデル編集のためのセマンティックルーティングベースのLoRAフレームワークであるSoLAを提案する。 各編集は独立したLoRAモジュールとしてカプセル化され、トレーニング後に凍結され、セマンティックルーティングによって入力にマップされる。 SoLAはセマンティックルーティングからキーを取り除き、モデルの本来の振る舞いを復元することで、特定の編集の正確な取り消しをサポートする。
• 参考スコア（独自算出の注目度）: 28.767885121925406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The dynamic evolution of real-world necessitates model editing within Large Language Models. While existing methods explore modular isolation or parameter-efficient strategies, they still suffer from semantic drift or knowledge forgetting due to continual updating. To address these challenges, we propose SoLA, a Semantic routing-based LoRA framework for lifelong model editing. In SoLA, each edit is encapsulated as an independent LoRA module, which is frozen after training and mapped to input by semantic routing, allowing dynamic activation of LoRA modules via semantic matching. This mechanism avoids semantic drift caused by cluster updating and mitigates catastrophic forgetting from parameter sharing. More importantly, SoLA supports precise revocation of specific edits by removing key from semantic routing, which restores model's original behavior. To our knowledge, this reversible rollback editing capability is the first to be achieved in existing literature. Furthermore, SoLA integrates decision-making process into edited layer, eliminating the need for auxiliary routing networks and enabling end-to-end decision-making process. Extensive experiments demonstrate that SoLA effectively learns and retains edited knowledge, achieving accurate, efficient, and reversible lifelong model editing.
• Abstract（参考訳）: 実世界の動的進化は、大規模言語モデル内のモデル編集を必要とする。 既存の手法はモジュール分離やパラメータ効率の戦略を探索するが、それでも継続更新による意味的なドリフトや知識の忘れに悩まされている。 これらの課題に対処するため、寿命の長いモデル編集のためのセマンティックルーティングベースのLoRAフレームワークであるSoLAを提案する。 SoLAでは、各編集は独立したLoRAモジュールとしてカプセル化され、トレーニング後に凍結され、セマンティックルーティングによって入力にマップされる。 このメカニズムは、クラスタ更新によるセマンティックドリフトを回避し、パラメータ共有から破滅的な忘れを軽減します。 さらに重要なのは、セマンティックルーティングからキーを取り除き、モデルの本来の振る舞いを復元することで、特定の編集の正確な取り消しをサポートすることだ。 我々の知る限り、この可逆的なロールバック編集機能は、既存の文献で最初に達成されたものである。 さらに、SoLAは意思決定プロセスを編集層に統合し、補助的なルーティングネットワークの必要性を排除し、エンドツーエンドの意思決定プロセスを可能にする。 大規模な実験により、SoLAは編集された知識を効果的に学習し、保持し、正確で、効率的で、可逆的な生涯モデル編集を実現している。

関連論文リスト

• Representation Interventions Enable Lifelong Unstructured Knowledge Control [54.86207134539453]
  大規模言語モデル(LLM)は、しばしば誤った、または時代遅れのコンテンツを生成します。その知識を効率的に正確に更新し、コストのかかる再トレーニングなしにするというのは、大きな課題です。 本稿では,モデル表現空間内の介入として知識制御を扱う,堅牢でスケーラブルな手法であるRILKEを紹介する。 トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。 推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。
  論文  参考訳（メタデータ） (2025-11-25T22:15:00Z)
• UnGuide: Learning to Forget with LoRA-Guided Diffusion Models [6.860380947025009]
  大規模テキスト・画像拡散モデルの最近の進歩は、その誤用に対する懸念を高めている。 これは、効果的な機械学習、すなわち事前訓練されたモデルから特定の知識や概念を取り除く必要性を浮き彫りにする。 本研究では,Un-Free Guidance(CFG)を取り入れたUnGuideを提案する。
  論文  参考訳（メタデータ） (2025-08-07T18:12:03Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。