論文の概要: Model Editing at Scale leads to Gradual and Catastrophic Forgetting
- arxiv url: http://arxiv.org/abs/2401.07453v2
- Date: Tue, 20 Feb 2024 06:24:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 19:52:37.722754
- Title: Model Editing at Scale leads to Gradual and Catastrophic Forgetting
- Title(参考訳): スケールでのモデル編集は、経時的および破滅的な予測につながる
- Authors: Akshat Gupta, Anurag Rao, Gopala Anumanchipalli
- Abstract要約: 本稿では,ROMEとMEMITの2つの手法に焦点をあてて,現在のモデル編集手法を大規模に評価する。
モデルが複数の事実と逐次的に編集されるにつれて、以前編集された事実と下流タスクの実行能力を常に忘れていることがわかった。
- 参考スコア(独自算出の注目度): 2.887477629420772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Editing knowledge in large language models is an attractive capability to
have which allows us to correct incorrectly learnt facts during pre-training,
as well as update the model with an ever-growing list of new facts. While
existing model editing techniques have shown promise, they are usually
evaluated using metrics for reliability, specificity and generalization over
one or few edits. We argue that for model editing to have practical utility, we
must be able to make multiple edits to the same model. With this in mind, we
evaluate the current model editing methods at scale, focusing on two state of
the art methods: ROME and MEMIT. We find that as the model is edited
sequentially with multiple facts, it continually forgets previously edited
facts and the ability to perform downstream tasks. This forgetting happens in
two phases -- an initial gradual but progressive forgetting phase followed by
abrupt or catastrophic forgetting phase. Both gradual and catastrophic
forgetting limit the usefulness of model editing methods at scale -- the former
making model editing less effective as multiple edits are made to the model
while the latter caps the scalability of such model editing methods. Our
analysis also highlights other key limitations of ROME and MEMIT at scale. With
our work, we push for the development and evaluation of model editing methods
keeping scalability in mind.
- Abstract(参考訳): 大きな言語モデルで知識を編集することは、事前学習中に誤った事実を訂正したり、成長を続ける新しい事実のリストでモデルを更新することができる魅力的な能力です。
既存のモデル編集技術は将来性を示しているが、信頼性、特異性、一ないし少数の編集に対する一般化のためにメトリクスを用いて評価される。
モデル編集が実用性を持つためには、同じモデルに複数の編集を行なわなければならない、と我々は主張する。
そこで本研究では,現在のモデル編集手法を大規模に評価し,ROMEとMEMITの2つの手法の状況に着目した。
モデルが複数の事実と逐次的に編集されるにつれて、以前編集された事実と下流タスクの実行能力を常に忘れていることがわかった。
この忘れることは2つのフェーズで起こる。最初の段階は段階的だが漸進的忘れる段階であり、その後は突然または破滅的な忘れる段階である。段階的および破滅的忘れる段階は、大規模でモデルの編集方法の有用性を制限するものである。前者はモデルに複数の編集が加えられるにつれて、モデル編集の効率が低下し、後者はそのようなモデル編集方法のスケーラビリティが上限となる。
我々の分析は、ROMとMEMITの大規模化における他の重要な制限も強調している。
本研究では,スケーラビリティを念頭に置いたモデル編集手法の開発と評価を推し進める。
関連論文リスト
- Consecutive Model Editing with Batch alongside HooK Layers [63.230544803136816]
COMEBA-HK は連続およびバッチをサポートするモデル編集方法である。
重みを更新したいくつかのフック層を格納するためには、少量しか必要としないため、メモリフレンドリーである。
論文 参考訳(メタデータ) (2024-03-08T14:07:44Z) - Model Editing by Pure Fine-Tuning [11.039398457603964]
ファインチューニングは、より専門的な手法に比べてパフォーマンスが悪いため、モデル編集には効果がないとして除外される。
モデル編集において,純微調整が有効な手法であることを示す。
論文 参考訳(メタデータ) (2024-02-16T21:10:33Z) - The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。
編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。
提案手法は,下流タスク性能と強い相関を示す広範な実験により検証され,サロゲート指標としてパープレキシティを用いる。
論文 参考訳(メタデータ) (2024-02-15T01:50:38Z) - Edit at your own risk: evaluating the robustness of edited models to
distribution shifts [0.0]
モデル編集がモデルの一般的なロバスト性や、編集対象の特定の動作のロバスト性にどのように影響するかを検討する。
編集は一般的な堅牢性を低下させる傾向があるが、劣化の程度は編集アルゴリズムと選択した層に依存している。
これらの観測によって動機付けられた新しいモデル編集アルゴリズムである1-層 (1-LI) を導入し、重み空間を用いて編集タスクの精度と一般的なロバスト性の間のトレードオフをナビゲートする。
論文 参考訳(メタデータ) (2023-02-28T19:41:37Z) - Aging with GRACE: Lifelong Model Editing with Discrete Key-Value
Adaptors [53.819805242367345]
本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。
GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。
T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
論文 参考訳(メタデータ) (2022-11-20T17:18:22Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z) - Learning to Model Editing Processes [98.11448946134894]
本稿では、反復的にシーケンスを生成するプロセス全体をモデル化し、編集プロセスのモデリングを提案する。
我々は、多段階編集の可能性を記述するための概念的枠組みを構築し、これらの多段階編集に基づいてシーケンスの生成モデルを学ぶことができるニューラルネットワークを記述する。
論文 参考訳(メタデータ) (2022-05-24T21:32:52Z) - Fast Model Editing at Scale [77.69220974621425]
MEND(Gradient Decomposition)を用いたモデルエディタネットワークを提案する。
MENDは、所望の入力出力ペアを使って、訓練済みのモデルに高速で局所的な編集を行う、小さな補助的な編集ネットワークの集合である。
MENDは100億以上のパラメータモデルであっても、1日以内で1つのGPUでトレーニングすることができる。
論文 参考訳(メタデータ) (2021-10-21T17:41:56Z) - A Structural Model for Contextual Code Changes [20.185486717922615]
部分的に編集されたコードスニペットが与えられた場合、私たちのゴールは、スニペットの残りの部分に対する編集の完了を予測することです。
提案モデルでは,最先端のシーケンシャルモデルよりも28%,編集コードの生成を学習する構文モデルよりも2倍高い精度を実現している。
論文 参考訳(メタデータ) (2020-05-27T07:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。