論文の概要: LadderEdit: Edit-Level Residual Compression for Memory-Efficient Lifelong Editing of LLMs

• arxiv url: http://arxiv.org/abs/2610.11160v1
• Date: Thu, 08 Oct 2026 03:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.760864
• Title: LadderEdit: Edit-Level Residual Compression for Memory-Efficient Lifelong Editing of LLMs
• Title（参考訳）: LadderEdit: LLMのメモリ効率のよい生涯編集のための編集レベル残差圧縮
• Abstract要約: 広く使われているアプローチのファミリは、編集毎に1つのLoRAアダプタをアタッチする。 得られたLoRAアダプタを圧縮する手法であるLadderEditを提案する。 ZsRE、CounterFact、WikiBigEditのベンチマークで、LadderEditは正確なLoRAストレージを5.2倍のメモリで追跡し、5万のシーケンシャルな編集で有効である。
• 参考スコア（独自算出の注目度）: 28.41523447601867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lifelong editing of LLMs requires storing thousands of edits after acquisition. A widely used family of approaches attaches one LoRA adapter per edit, which preserves behavior but grows linearly in storage. To address this challenge, we propose LadderEdit, a method that compresses each LoRA adapter after it is acquired. Each edit is first stored at low rank as a cheap sketch. We then check whether this sketch still satisfies the rewrite, generalization, and locality contract on probe prompts. Edits that pass keep the sketch; those that fail are promoted to a higher rank along a ladder until the contract is met. Because every edit retains some representation, coverage is maintained, and only hard edits consume more rank. Across ZsRE, CounterFact, and WikiBigEdit benchmarks on LLaMA-3-8B, Mistral-7B, and Qwen2.5-7B, LadderEdit tracks exact LoRA storage at 5.2x less memory and remains effective at 50,000 sequential edits.
• Abstract（参考訳）: LLMの生涯編集は、取得後に数千の編集を格納する必要がある。 広く使われているアプローチのファミリは、編集毎に1つのLoRAアダプタをアタッチする。 この課題に対処するため,各LoRAアダプタを取得後に圧縮する手法であるLadderEditを提案する。 各編集は、まず低価格のスケッチとして低ランクに格納される。 次に、このスケッチがプローブプロンプトの書き換え、一般化、局所性契約を満たすかどうかを確認する。 失敗する人は、契約が成立するまで、はしごに沿って上位に昇格する。 すべての編集が何らかの表現を保持するため、カバレッジは維持され、ハード編集だけがより多くのランクを消費する。 ZsRE、CounterFact、WikiBigEditのLLaMA-3-8B、Mistral-7B、Qwen2.5-7Bのベンチマークでは、LadderEditは正確なLoRAストレージを5.2倍のメモリで追跡し、5万のシーケンシャルな編集で有効である。

関連論文リスト

• EditHero: A Benchmark for Long-Horizon Part-Level 3D Editing and Vibe Modeling [49.06490426927511]
  EditHeroは、長い水平部分の3D編集のための最初のベンチマークです。 決定論的アセンブリエンジンは、編集毎に正確なターゲットを生成し、各シーケンスを手動でレビューする。 信頼性のある反復3D編集の研究を支援するために,エンジンと編集シーケンスをリリースする。
  論文  参考訳（メタデータ） (2026-10-01T17:50:53Z)
• Beyond Hard Writes and Rigid Preservation: Soft Recursive Least-Squares for Lifelong LLM Editing [16.768713543557443]
  モデル編集は、関係のない振る舞いを保持しながら、再トレーニングすることなく、新しい事実やルールで事前訓練された更新を行う。 長い逐次編集のための最小二乗エディタ RLSEdit を提案する。 複数のモデルファミリの実験は、10K編集への安定したスケーリングを示し、編集成功と全体安定性の両方において強力なベースラインを達成している。
  論文  参考訳（メタデータ） (2026-01-22T06:11:44Z)
• Quantifying Edits Decay in Fine-tuned LLMs [17.377278510871843]
  本研究では,微調整が知識編集に与える影響について検討する。 我々は,2つの最先端編集手法(MEMIT,AlphaEdit)と3つの微調整手法を評価した。 以上の結果から,微調整後に編集が崩壊し,生存は構成によって異なることが明らかとなった。
  論文  参考訳（メタデータ） (2025-11-08T04:58:03Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• Lifelong Knowledge Editing requires Better Regularization [11.14177136208272]
  そこで我々は,2段階の微調整プロセスとして,一般的な位置編集手法を定式化する。 モデル劣化は,内部アクティベーションの過度な最適化と,編集行列の連続的ノルム成長によって生じることを示す。 これらの単純で効果的な正規化手法を編集プロセスのキーポイントに適用することで、モデル劣化を著しく軽減することができる。
  論文  参考訳（メタデータ） (2025-02-03T18:59:14Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
  大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。 更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。 記憶のギャップを埋めるためにWISEを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。