論文の概要: UltraEdit: Training-, Subject-, and Memory-Free Lifelong Editing in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.14679v1
• Date: Tue, 20 May 2025 17:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.66877
• Title: UltraEdit: Training-, Subject-, and Memory-Free Lifelong Editing in Large Language Models
• Title（参考訳）: UltraEdit:大規模言語モデルにおけるトレーニング・サブジェクト・メモリフリーの生涯編集
• Authors: Xiaojie Gu, Guangxu Chen, Jungang Li, Jia-Chen Gu, Xuming Hu, Kai Zhang,
• Abstract要約: 生涯学習は、内部知識を継続的に更新することによって、大きな言語モデルが進化する情報に適応することを可能にする。 モデル編集は、モデルの内部知識を更新するための集中的で効率的な方法を提供する、この目標のための有望なソリューションとして際立っている。 UltraEditはトレーニング用、主題用、メモリ不要で、超スケーラブルで現実世界の生涯モデル編集に適しています。
• 参考スコア（独自算出の注目度）: 18.23723680134397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong learning enables large language models (LLMs) to adapt to evolving information by continually updating their internal knowledge. An ideal system should support efficient, wide-ranging updates while preserving existing capabilities and ensuring reliable deployment. Model editing stands out as a promising solution for this goal, offering a focused and efficient way to revise a model's internal knowledge. Although recent paradigms have made notable progress, they often struggle to meet the demands of practical lifelong adaptation at scale. To bridge this gap, we propose ULTRAEDIT-a fundamentally new editing solution that is training-, subject- and memory-free, making it particularly well-suited for ultra-scalable, real-world lifelong model editing. ULTRAEDIT performs editing through a self-contained process that relies solely on lightweight linear algebra operations to compute parameter shifts, enabling fast and consistent parameter modifications with minimal overhead. To improve scalability in lifelong settings, ULTRAEDIT employs a lifelong normalization strategy that continuously updates feature statistics across turns, allowing it to adapt to distributional shifts and maintain consistency over time. ULTRAEDIT achieves editing speeds over 7x faster than the previous state-of-the-art method-which was also the fastest known approach-while consuming less than 1/3 the VRAM, making it the only method currently capable of editing a 7B LLM on a 24GB consumer-grade GPU. Furthermore, we construct ULTRAEDITBENCH-the largest dataset in the field to date, with over 2M editing pairs-and demonstrate that our method supports up to 1M edits while maintaining high accuracy. Comprehensive experiments on four datasets and six models show that ULTRAEDIT consistently achieves superior performance across diverse model editing scenarios. Our code is available at: https://github.com/XiaojieGu/UltraEdit.
• Abstract（参考訳）: 生涯学習は、内部知識を継続的に更新することによって、大きな言語モデル(LLM)が進化する情報に適応することを可能にする。 理想的なシステムは、既存の機能を保ち、信頼性の高いデプロイメントを確保しながら、効率的で広範囲の更新をサポートするべきである。 モデル編集は、モデルの内部知識を更新するための集中的で効率的な方法を提供する、この目標のための有望なソリューションとして際立っている。 近年のパラダイムは顕著な進歩を遂げているが、大規模な実践的な生涯適応の要求を満たすのに苦労することが多い。 このギャップを埋めるために,ウルトラエジット(ULTRAEDIT)という,トレーニング,主題,メモリフリーの基本的な新しい編集ソリューションを提案する。 ULTRAEDITは、パラメータシフトを計算するために軽量な線形代数演算のみに依存する自己完結プロセスを通じて編集を行い、最小限のオーバーヘッドで高速で一貫したパラメータ修正を可能にする。 寿命の長い設定でスケーラビリティを向上させるため、ULTRAEDITは生涯の正規化戦略を採用し、ターン毎に機能の統計を継続的に更新し、分散シフトに適応し、時間の経過とともに一貫性を維持する。 ULTRAEDITは従来の最先端の方法よりも7倍高速な編集速度を実現しており、これはVRAMの1/3未満を消費する最も高速なアプローチとしても知られており、現在24GBのコンシューマグレードのGPUで7B LLMを編集できる唯一の方法である。 さらに,これまでで最大のデータセットであるULTRAEDITBENCHを200万以上の編集ペアで構築し,高い精度を維持しつつ,最大100万編集をサポートすることを示す。 4つのデータセットと6つのモデルに関する総合的な実験により、ULTRAEDITは様々なモデル編集シナリオにおいて一貫して優れたパフォーマンスを達成している。 私たちのコードは、https://github.com/XiaojieGu/UltraEditで利用可能です。

関連論文リスト

• Reinforced Lifelong Editing for Language Models [12.101856766731574]
  大規模言語モデル(LLM)は、事前学習したコーパスから情報を取得するが、その記憶された知識は、時間とともに不正確になるか、時代遅れになる可能性がある。 モデル編集は、リトレーニングなしでモデルパラメータを変更することでこの課題に対処する。 本稿では,RLに基づく編集手法であるRLEditを提案する。
  論文  参考訳（メタデータ） (2025-02-09T03:37:06Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• LEMoE: Advanced Mixture of Experts Adaptor for Lifelong Model Editing of Large Language Models [30.831866499812925]
  大規模言語モデル(LLM)は、変化し続ける世界の事実をそのまま維持するために、継続的な知識更新を必要とする。 我々は、生涯モデル編集のための高度なMixture of Experts (MoE)アダプタLEMoEを紹介する。
  論文  参考訳（メタデータ） (2024-06-28T16:17:41Z)
• Consecutive Batch Model Editing with HooK Layers [59.673084839708224]
  CoachHooKは、シーケンシャルおよびバッチ編集を同時にサポートするモデル編集方法である。 メモリフレンドリで、時間とともにサイズが変化しないいくつかのフック層を格納するために、少量しか必要としない。
  論文  参考訳（メタデータ） (2024-03-08T14:07:44Z)
• Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors [53.819805242367345]
  本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。 GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。 T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
  論文  参考訳（メタデータ） (2022-11-20T17:18:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。