論文の概要: UltraEdit: Training-, Subject-, and Memory-Free Lifelong Editing in Language Models

• arxiv url: http://arxiv.org/abs/2505.14679v2
• Date: Fri, 26 Sep 2025 04:37:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 14:23:57.358241
• Title: UltraEdit: Training-, Subject-, and Memory-Free Lifelong Editing in Language Models
• Title（参考訳）: UltraEdit: 言語モデルにおけるトレーニング, 主題, 記憶のない生涯編集
• Authors: Xiaojie Gu, Ziying Huang, Jia-Chen Gu, Kai Zhang,
• Abstract要約: 生涯学習は、内部知識を継続的に更新することによって、大きな言語モデルが進化する情報に適応することを可能にする。 UltraEditは、トレーニング、主題、メモリフリーのアプローチであり、ウルトラスケーラブルで現実世界の生涯モデル編集に適しています。 従来の最先端の方法よりも7倍高速で、VRAMは1/4以下である。
• 参考スコア（独自算出の注目度）: 19.638600793243224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong learning enables large language models (LLMs) to adapt to evolving information by continually updating their internal knowledge. An ideal system should support efficient, wide-ranging updates while preserving existing capabilities and ensuring reliable deployment. Model editing stands out as a promising solution for this goal, offering a focused and efficient way to revise a model's internal knowledge. Although recent paradigms have made notable progress, they often struggle to meet the demands of practical lifelong adaptation at scale. To bridge this gap, we propose UltraEdit, a training-, subject-, and memory-free approach that is well-suited for ultra-scalable, real-world lifelong model editing. UltraEdit fundamentally differs from traditional paradigms by computing parameter shifts in one step using only a hidden state and its gradient, making the approach simple yet efficient. To improve scalability in lifelong settings, UltraEdit employs a lifelong normalization strategy that continuously updates feature statistics across turns, allowing it to adapt to distributional shifts and maintain consistency over time. UltraEdit achieves editing speeds over 7x faster than the previous state-of-the-art method, which was also the fastest known approach, while using less than 1/4 the VRAM. This makes it the only method currently capable of editing a 7B LLM on a 24GB consumer-grade GPU. Furthermore, we construct UltraEditBench, the largest dataset in the field to date with over 2M editing pairs, and demonstrate that our method supports up to 2M edits while maintaining high accuracy. Comprehensive experiments on five datasets and six models show that UltraEdit consistently achieves superior performance across diverse model editing scenarios, taking a further step towards safe and scalable lifelong learning. Our code is available at: https://github.com/XiaojieGu/UltraEdit
• Abstract（参考訳）: 生涯学習は、内部知識を継続的に更新することによって、大きな言語モデル(LLM)が進化する情報に適応することを可能にする。 理想的なシステムは、既存の機能を保ち、信頼性の高いデプロイメントを確保しながら、効率的で広範囲の更新をサポートするべきである。 モデル編集は、モデルの内部知識を更新するための集中的で効率的な方法を提供する、この目標のための有望なソリューションとして際立っている。 近年のパラダイムは顕著な進歩を遂げているが、大規模な実践的な生涯適応の要求を満たすのに苦労することが多い。 このギャップを埋めるために,UltraEditを提案する。UltraEditは,ウルトラスケーラブルな実世界モデル編集に適したトレーニング,主題,メモリフリーなアプローチである。 UltraEditは、隠れ状態と勾配だけを用いてパラメータシフトを計算することで、従来のパラダイムと根本的に異なるため、アプローチはシンプルで効率的である。 寿命の長い設定でスケーラビリティを向上させるために、UltraEditは生涯の正規化戦略を採用し、ターン毎に機能の統計を継続的に更新し、分散シフトに適応し、時間の経過とともに一貫性を維持する。 UltraEditは従来の最先端の手法よりも7倍高速で編集が可能で、VRAMは1/4以下である。 これにより、24GBの消費者向けGPUで7B LLMを編集できる唯一の方法となっている。 さらに,2万組以上の編集ペアで,これまでで最大規模のデータセットであるUltraEditBenchを構築し,高い精度を維持しながら,最大2万組の編集をサポートすることを示す。 5つのデータセットと6つのモデルに関する総合的な実験は、UltraEditがさまざまなモデル編集シナリオで一貫して優れたパフォーマンスを実現し、安全でスケーラブルな生涯学習に向けてさらに一歩前進していることを示している。 私たちのコードは、https://github.com/XiaojieGu/UltraEditで利用可能です。

関連論文リスト

• Model Merging for Knowledge Editing [53.799891745131724]
  大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:42:39Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [82.34547399693966]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 残メモリを介して知識を注入する新しいスケーラブルなフレームワークであるMEMOIRを提案する。 MeMOIRは各編集をメモリパラメータの別のサブセットに限定し、編集間の干渉を最小限にする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing [27.918524905286475]
  現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
  論文  参考訳（メタデータ） (2025-05-21T16:16:33Z)
• Reinforced Lifelong Editing for Language Models [12.101856766731574]
  大規模言語モデル(LLM)は、事前学習したコーパスから情報を取得するが、その記憶された知識は、時間とともに不正確になるか、時代遅れになる可能性がある。 モデル編集は、リトレーニングなしでモデルパラメータを変更することでこの課題に対処する。 本稿では,RLに基づく編集手法であるRLEditを提案する。
  論文  参考訳（メタデータ） (2025-02-09T03:37:06Z)
• O-Edit: Orthogonal Subspace Editing for Language Model Sequential Editing [0.0]
  大規模言語モデル(LLM)は、事前訓練中に知識を取得するが、時間が経つにつれて、この知識は誤りまたは時代遅れになり、訓練後に更新が必要になる。 このアルゴリズムは、各知識更新の方向をアルゴリズム化し、逐次更新間の干渉を最小限にし、新しい更新が無関係な知識に与える影響を減らす。 メインストリームのLCM上で数千の編集を行うことができ、既存のメソッドの4.2倍の性能向上を実現し、下流のタスクでモデルのパフォーマンスを効果的に保ち、パラメータのオーバーヘッドを最小限に抑えることができる。
  論文  参考訳（メタデータ） (2024-10-15T10:16:45Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• LEMoE: Advanced Mixture of Experts Adaptor for Lifelong Model Editing of Large Language Models [30.831866499812925]
  大規模言語モデル(LLM)は、変化し続ける世界の事実をそのまま維持するために、継続的な知識更新を必要とする。 我々は、生涯モデル編集のための高度なMixture of Experts (MoE)アダプタLEMoEを紹介する。
  論文  参考訳（メタデータ） (2024-06-28T16:17:41Z)
• Consecutive Batch Model Editing with HooK Layers [59.673084839708224]
  CoachHooKは、シーケンシャルおよびバッチ編集を同時にサポートするモデル編集方法である。 メモリフレンドリで、時間とともにサイズが変化しないいくつかのフック層を格納するために、少量しか必要としない。
  論文  参考訳（メタデータ） (2024-03-08T14:07:44Z)
• Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors [53.819805242367345]
  本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。 GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。 T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
  論文  参考訳（メタデータ） (2022-11-20T17:18:22Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。