論文の概要: Rebuilding ROME : Resolving Model Collapse during Sequential Model
Editing
- arxiv url: http://arxiv.org/abs/2403.07175v1
- Date: Mon, 11 Mar 2024 21:33:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 23:32:39.458267
- Title: Rebuilding ROME : Resolving Model Collapse during Sequential Model
Editing
- Title(参考訳): ROMEの再構築 : 逐次モデル編集におけるモデル崩壊の解消
- Authors: Akshat Gupta, Gopala Anumanchipalli
- Abstract要約: Rank-One Model Editing (ROME)によるモデル崩壊は、CounterFactデータセットを使用して編集を行う場合にのみ発生することを示す。
無効な編集はROMEのオリジナルの実装の成果物であることがわかった。
より安定した実装 ROME を提供し、ROME で大規模な逐次編集を行う際には、r-ROME と呼び、モデル崩壊を観測しなくなったことを示す。
- 参考スコア(独自算出の注目度): 3.4111723103928173
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work on model editing using Rank-One Model Editing (ROME), a popular
model editing method, has shown that there are certain facts that the algorithm
is unable to edit without breaking the model. Such edits have previously been
called disabling edits. These disabling edits cause immediate model collapse
and limits the use of ROME for sequential editing. In this paper, we make two
main contributions. Firstly, we show that model collapse with ROME only happens
when making edits using the CounterFact dataset and does not happen when using
the zsRE dataset. Secondly, we find that disabling edits are an artifact of the
original implementation of ROME. With this paper, we provide a more stable
implementation ROME, which we call r-ROME and show that we no longer observe
model collapse when making large scale sequential edits with ROME.
- Abstract(参考訳): 人気のあるモデル編集手法であるrank-one model editing(rome)を用いたモデル編集に関する最近の研究は、アルゴリズムがモデルを壊さずに編集できないという特定の事実があることを示している。
このような編集は以前は無効な編集と呼ばれていた。
これらの無効な編集は、即座にモデルが崩壊し、逐次編集にROMEの使用を制限する。
本稿では2つの主な貢献を行う。
まず、ROMEによるモデル崩壊は、CounterFactデータセットを使用して編集を行う場合にのみ発生し、zsREデータセットを使用する場合には発生しないことを示す。
第二に、編集の無効化はROMEのオリジナルの実装の成果物であることがわかった。
本稿では, r-ROME と呼ばれる ROME を安定的に実装し, ROME で大規模な逐次編集を行う場合, モデル崩壊を観測しなくなったことを示す。
関連論文リスト
- Consecutive Model Editing with Batch alongside HooK Layers [63.230544803136816]
COMEBA-HK は連続およびバッチをサポートするモデル編集方法である。
重みを更新したいくつかのフック層を格納するためには、少量しか必要としないため、メモリフレンドリーである。
論文 参考訳(メタデータ) (2024-03-08T14:07:44Z) - The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。
編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。
提案手法は,下流タスク性能と強い相関を示す広範な実験により検証され,サロゲート指標としてパープレキシティを用いる。
論文 参考訳(メタデータ) (2024-02-15T01:50:38Z) - Model Editing at Scale leads to Gradual and Catastrophic Forgetting [2.887477629420772]
本稿では,ROMEとMEMITの2つの手法に焦点をあてて,現在のモデル編集手法を大規模に評価する。
モデルが複数の事実と逐次的に編集されるにつれて、以前編集された事実と下流タスクの実行能力を常に忘れていることがわかった。
論文 参考訳(メタデータ) (2024-01-15T03:57:15Z) - Aging with GRACE: Lifelong Model Editing with Discrete Key-Value
Adaptors [53.819805242367345]
本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。
GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。
T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
論文 参考訳(メタデータ) (2022-11-20T17:18:22Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z) - Fast Model Editing at Scale [77.69220974621425]
MEND(Gradient Decomposition)を用いたモデルエディタネットワークを提案する。
MENDは、所望の入力出力ペアを使って、訓練済みのモデルに高速で局所的な編集を行う、小さな補助的な編集ネットワークの集合である。
MENDは100億以上のパラメータモデルであっても、1日以内で1つのGPUでトレーニングすることができる。
論文 参考訳(メタデータ) (2021-10-21T17:41:56Z) - Learning Structural Edits via Incremental Tree Transformations [102.64394890816178]
構造化データのインクリメンタルな編集(すなわち「構造的編集」)のための汎用モデルを提案する。
我々の編集者は、反復的にツリー編集(例えば、サブツリーの削除や追加)を生成し、部分的に編集されたデータに適用することを学びます。
提案したエディタを2つのソースコード編集データセットで評価した結果,提案する編集エンコーダでは,従来よりも精度が向上していることがわかった。
論文 参考訳(メタデータ) (2021-01-28T16:11:32Z) - A Structural Model for Contextual Code Changes [20.185486717922615]
部分的に編集されたコードスニペットが与えられた場合、私たちのゴールは、スニペットの残りの部分に対する編集の完了を予測することです。
提案モデルでは,最先端のシーケンシャルモデルよりも28%,編集コードの生成を学習する構文モデルよりも2倍高い精度を実現している。
論文 参考訳(メタデータ) (2020-05-27T07:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。