論文の概要: Reversible Lifelong Model Editing via Semantic Routing-Based LoRA

• arxiv url: http://arxiv.org/abs/2603.11239v1
• Date: Wed, 11 Mar 2026 19:04:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.601226
• Title: Reversible Lifelong Model Editing via Semantic Routing-Based LoRA
• Title（参考訳）: セマンティックルーティングに基づくLORAによる可逆寿命モデル編集
• Abstract要約: 寿命モデル編集のためのセマンティックルーティングベースのLoRAフレームワークであるSoLAを提案する。 各編集は独立したLoRAモジュールとしてカプセル化され、トレーニング後に凍結され、セマンティックルーティングによって入力にマップされる。 SoLAはセマンティックルーティングからキーを取り除き、モデルの本来の振る舞いを復元することで、特定の編集の正確な取り消しをサポートする。
• 参考スコア（独自算出の注目度）: 28.767885121925406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The dynamic evolution of real-world necessitates model editing within Large Language Models. While existing methods explore modular isolation or parameter-efficient strategies, they still suffer from semantic drift or knowledge forgetting due to continual updating. To address these challenges, we propose SoLA, a Semantic routing-based LoRA framework for lifelong model editing. In SoLA, each edit is encapsulated as an independent LoRA module, which is frozen after training and mapped to input by semantic routing, allowing dynamic activation of LoRA modules via semantic matching. This mechanism avoids semantic drift caused by cluster updating and mitigates catastrophic forgetting from parameter sharing. More importantly, SoLA supports precise revocation of specific edits by removing key from semantic routing, which restores model's original behavior. To our knowledge, this reversible rollback editing capability is the first to be achieved in existing literature. Furthermore, SoLA integrates decision-making process into edited layer, eliminating the need for auxiliary routing networks and enabling end-to-end decision-making process. Extensive experiments demonstrate that SoLA effectively learns and retains edited knowledge, achieving accurate, efficient, and reversible lifelong model editing.
• Abstract（参考訳）: 実世界の動的進化は、大規模言語モデル内のモデル編集を必要とする。 既存の手法はモジュール分離やパラメータ効率の戦略を探索するが、それでも継続更新による意味的なドリフトや知識の忘れに悩まされている。 これらの課題に対処するため、寿命の長いモデル編集のためのセマンティックルーティングベースのLoRAフレームワークであるSoLAを提案する。 SoLAでは、各編集は独立したLoRAモジュールとしてカプセル化され、トレーニング後に凍結され、セマンティックルーティングによって入力にマップされる。 このメカニズムは、クラスタ更新によるセマンティックドリフトを回避し、パラメータ共有から破滅的な忘れを軽減します。 さらに重要なのは、セマンティックルーティングからキーを取り除き、モデルの本来の振る舞いを復元することで、特定の編集の正確な取り消しをサポートすることだ。 我々の知る限り、この可逆的なロールバック編集機能は、既存の文献で最初に達成されたものである。 さらに、SoLAは意思決定プロセスを編集層に統合し、補助的なルーティングネットワークの必要性を排除し、エンドツーエンドの意思決定プロセスを可能にする。 大規模な実験により、SoLAは編集された知識を効果的に学習し、保持し、正確で、効率的で、可逆的な生涯モデル編集を実現している。

関連論文リスト

• JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models [78.56572636138429]
  JumpLoRAは,JumpReLUゲーティングを用いてローランド適応(LoRA)ブロックの間隔を適応的に誘導する新しいフレームワークである。 特に,IncLoRAの性能を著しく向上させ,最先端のCLであるELLAよりも優れることを示す。
  論文  参考訳（メタデータ） (2026-04-17T15:38:37Z)
• Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
  本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。 CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。 次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
  論文  参考訳（メタデータ） (2025-12-19T15:18:07Z)
• Recover-to-Forget: Gradient Reconstruction from LoRA for Efficient LLM Unlearning [17.898277374771254]
  本稿では,大規模基盤モデルにおける効率的なアンラーニングのための新しいフレームワークであるRecover-to-Forget(R2F)を紹介する。 R2FはローランクのLoRAアダプタ更新からフルモデル勾配方向を再構築する。 R2Fは、未学習のLLMにおいて、完全な再学習や内部パラメータへのアクセスを必要とせずに、スケーラブルで軽量な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-12-08T10:10:12Z)
• Representation Interventions Enable Lifelong Unstructured Knowledge Control [54.86207134539453]
  大規模言語モデル(LLM)は、しばしば誤った、または時代遅れのコンテンツを生成します。その知識を効率的に正確に更新し、コストのかかる再トレーニングなしにするというのは、大きな課題です。 本稿では,モデル表現空間内の介入として知識制御を扱う,堅牢でスケーラブルな手法であるRILKEを紹介する。 トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。 推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。
  論文  参考訳（メタデータ） (2025-11-25T22:15:00Z)
• UnGuide: Learning to Forget with LoRA-Guided Diffusion Models [6.860380947025009]
  大規模テキスト・画像拡散モデルの最近の進歩は、その誤用に対する懸念を高めている。 これは、効果的な機械学習、すなわち事前訓練されたモデルから特定の知識や概念を取り除く必要性を浮き彫りにする。 本研究では,Un-Free Guidance(CFG)を取り入れたUnGuideを提案する。
  論文  参考訳（メタデータ） (2025-08-07T18:12:03Z)
• AutoLoRA: Automatic LoRA Retrieval and Fine-Grained Gated Fusion for Text-to-Image Generation [32.46570968627392]
  低ランク適応(LoRA)は、最小パラメータオーバーヘッドでモデルのカスタマイズを可能にする効果を実証している。 意味駆動型LoRA検索と動的アグリゲーションを可能にする新しいフレームワークを提案する。 提案手法は画像生成のパーフェマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2025-08-04T06:36:00Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing [86.17245523439514]
  In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。 この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。 編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
  論文  参考訳（メタデータ） (2025-05-28T09:20:18Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• Emptying the Ocean with a Spoon: Should We Edit Models? [8.545919917068273]
  LLM世代における事実誤りを訂正する手段として,最近普及した直接モデル編集手法を疑問視する。 モデル編集は、より明確な目的を追求する3つの類似しているが異なるアプローチと対比する。
  論文  参考訳（メタデータ） (2023-10-18T13:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。