Fugu-MT 論文翻訳(概要): Robustness of edited neural networks

論文の概要: Robustness of edited neural networks

arxiv url: http://arxiv.org/abs/2303.00046v1
Date: Tue, 28 Feb 2023 19:41:37 GMT
ステータス: 処理完了
システム内更新日: 2023-03-02 16:54:22.382179
Title: Robustness of edited neural networks
Title（参考訳）: 編集ニューラルネットワークのロバスト性
Authors: Davis Brown, Charles Godfrey, Cody Nizinski, Jonathan Tu, Henry Kvinge
Abstract要約: モデル編集がモデルの一般的なロバスト性や、編集対象の特定の動作のロバスト性にどのように影響するかを検討する。編集は一般的な堅牢性を低下させる傾向があるが、劣化の程度は選択した編集アルゴリズムに依存する。これらの観測により、我々は2つの新しいモデル編集アルゴリズム、直接低ランクモデル編集と1層(1-LI)を導入する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Successful deployment in uncertain, real-world environments requires that deep learning models can be efficiently and reliably modified in order to adapt to unexpected issues. However, the current trend toward ever-larger models makes standard retraining procedures an ever-more expensive burden. For this reason, there is growing interest in model editing, which enables computationally inexpensive, interpretable, post-hoc model modifications. While many model editing techniques are promising, research on the properties of edited models is largely limited to evaluation of validation accuracy. The robustness of edited models is an important and yet mostly unexplored topic. In this paper, we employ recently developed techniques from the field of deep learning robustness to investigate both how model editing affects the general robustness of a model, as well as the robustness of the specific behavior targeted by the edit. We find that edits tend to reduce general robustness, but that the degree of degradation depends on the editing algorithm chosen. In particular, robustness is best preserved by more constrained techniques that modify less of the model. Motivated by these observations, we introduce two new model editing algorithms, direct low-rank model editing and 1-layer interpolation (1-LI), which each exhibit strong generalization performance.
Abstract（参考訳）: 不確実で現実的な環境でのデプロイメントの成功には、予期しない問題に適応するために、ディープラーニングモデルを効率的かつ確実に修正する必要がある。しかし、より大規模なモデルへの最近のトレンドにより、標準的な再訓練手順はより高価な負担になる。このため、計算量的に安価で解釈可能なポストホックなモデル修正を可能にするモデル編集への関心が高まっている。多くのモデル編集技術は有望であるが、編集モデルの特性に関する研究は検証精度の評価にほとんど制限されている。編集モデルのロバスト性は重要だが、ほとんど未検討のトピックである。本稿では,モデル編集がモデルの一般的なロバスト性に与える影響と,編集対象の特定の動作のロバスト性の両方を調査するために,ディープラーニングロバストネスの分野から最近開発された手法を用いる。編集は一般的な堅牢性を低下させる傾向があるが、劣化の程度は選択した編集アルゴリズムに依存する。特にロバスト性は、モデルのより少ない変更を行うより制約のある技術によって最もよく保存される。これらの結果に動機づけられ, 2つのモデル編集アルゴリズム, 直接低ランクモデル編集と1層補間(1-li)を導入し, それぞれ高い一般化性能を示す。

関連論文リスト

Neuron-Level Sequential Editing for Large Language Models [19.324852774144752]
シーケンシャルモデル編集をサポートするための textbfNeuron レベルの textbfSequential textbfEditing (NSE) を導入する。具体的には、モデルが失敗するのを防ぐために、モデルの最初の重みを使ってターゲット層の隠蔽状態を最適化する。実験の結果、NSEは現在の修正パラメーターモデル編集法よりも大幅に優れていた。
論文参考訳（メタデータ） (2024-10-05T05:52:22Z)
Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
大規模な言語モデルは定期的に更新する必要がある。モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
論文参考訳（メタデータ） (2024-10-03T12:28:13Z)
The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
論文参考訳（メタデータ） (2024-02-15T01:50:38Z)
Model Editing at Scale leads to Gradual and Catastrophic Forgetting [2.569159339315845]
本稿では,ROMEとMEMITの2つの手法に焦点をあてて,現在のモデル編集手法を大規模に評価する。モデルが複数の事実と逐次的に編集されるにつれて、以前編集された事実と下流タスクの実行能力を常に忘れていることがわかった。
論文参考訳（メタデータ） (2024-01-15T03:57:15Z)
Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
論文参考訳（メタデータ） (2024-01-09T18:03:15Z)
Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors [53.819805242367345]
本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。 GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。 T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
論文参考訳（メタデータ） (2022-11-20T17:18:22Z)
Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文参考訳（メタデータ） (2022-06-13T23:40:34Z)
Fast Model Editing at Scale [77.69220974621425]
MEND(Gradient Decomposition)を用いたモデルエディタネットワークを提案する。 MENDは、所望の入力出力ペアを使って、訓練済みのモデルに高速で局所的な編集を行う、小さな補助的な編集ネットワークの集合である。 MENDは100億以上のパラメータモデルであっても、1日以内で1つのGPUでトレーニングすることができる。
論文参考訳（メタデータ） (2021-10-21T17:41:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。