論文の概要: Perturbation-Restrained Sequential Model Editing
- arxiv url: http://arxiv.org/abs/2405.16821v1
- Date: Mon, 27 May 2024 04:40:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 17:00:31.518323
- Title: Perturbation-Restrained Sequential Model Editing
- Title(参考訳): 摂動制約付きシーケンスモデル編集
- Authors: Jun-Yu Ma, Hong Wang, Hao-Xiang Xu, Zhen-Hua Ling, Jia-Chen Gu,
- Abstract要約: 現在のモデル編集手法は、編集数が増加するにつれて、大きな言語モデル(LLM)の一般的な能力を損なう。
編集用上層部における摂動抑制フレームワーク(PRUNE)を提案する。
PRUNEは、シーケンシャルモデル編集において、編集性能を効果的に維持しながら、かなりの汎用性を維持できる。
- 参考スコア(独自算出の注目度): 33.51709226068619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model editing is an emerging field that focuses on updating the knowledge embedded within large language models (LLMs) without extensive retraining. However, current model editing methods significantly compromise the general abilities of LLMs as the number of edits increases, and this trade-off poses a substantial challenge to the continual learning of LLMs. In this paper, we first theoretically analyze that the factor affecting the general abilities in sequential model editing lies in the condition number of the edited matrix. The condition number of a matrix represents its numerical sensitivity, and therefore can be used to indicate the extent to which the original knowledge associations stored in LLMs are perturbed after editing. Subsequently, statistical findings demonstrate that the value of this factor becomes larger as the number of edits increases, thereby exacerbating the deterioration of general abilities. To this end, a framework termed Perturbation Restraint on Upper bouNd for Editing (PRUNE) is proposed, which applies the condition number restraints in sequential editing. These restraints can lower the upper bound on perturbation to edited models, thus preserving the general abilities. Systematically, we conduct experiments employing three popular editing methods on three LLMs across four representative downstream tasks. Evaluation results show that PRUNE can preserve considerable general abilities while maintaining the editing performance effectively in sequential model editing. The code and data are available at https://github.com/mjy1111/PRUNE.
- Abstract(参考訳): モデル編集は、大規模な言語モデル(LLM)に埋め込まれた知識を、大規模なリトレーニングなしで更新することに焦点を当てた新興分野である。
しかし,現在のモデル編集手法では,編集数の増加に伴いLLMの一般能力が著しく損なわれており,このトレードオフはLLMの継続的な学習に重大な課題をもたらす。
本稿では、まず、逐次モデル編集における一般的な能力に影響を与える要因が、編集行列の条件数にあることを理論的に分析する。
行列の条件数は、その数値感度を表すため、LLMに格納された元の知識関連が編集後に摂動される範囲を示すために用いられる。
以上の結果から,編集回数の増加に伴い,この因子の値が大きくなり,一般能力の劣化が悪化することが示唆された。
この目的のために, 逐次編集における条件数抑制を応用した, PRUNE(Advanced bouNd for Editing) の摂動制約(Perturbation Restraint) というフレームワークを提案する。
これらの抑制は、編集されたモデルへの摂動の上限を下げ、一般的な能力を保っている。
システム的には,4つの下流タスクにまたがる3つのLLMに対して,3つの一般的な編集手法を用いた実験を行う。
評価結果から,PRUNEは逐次モデル編集において,編集性能を効果的に維持しつつ,ある程度の汎用性を維持できることが示唆された。
コードとデータはhttps://github.com/mjy1111/PRUNE.comで公開されている。
関連論文リスト
- Is Bigger Edit Batch Size Always Better? -- An Empirical Study on Model Editing with Llama-3 [2.569159339315845]
本研究では,最新の大言語モデルであるLlama-3に着目したターゲットモデル編集分析を行う。
最大4096個の編集を対象とする評価により,最も効果的な編集層を同定する。
論文 参考訳(メタデータ) (2024-05-01T17:50:37Z) - Editing Conceptual Knowledge for Large Language Models [67.8410749469755]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - Consecutive Model Editing with Batch alongside HooK Layers [59.673084839708224]
COMEBA-HK は連続およびバッチをサポートするモデル編集方法である。
重みを更新したいくつかのフック層を格納するためには、少量しか必要としないため、メモリフレンドリーである。
論文 参考訳(メタデータ) (2024-03-08T14:07:44Z) - The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。
編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。
我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
論文 参考訳(メタデータ) (2024-02-15T01:50:38Z) - Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
モデル編集は、大きな言語モデル(LLM)を編集し、リソース集約的な再学習なしに幻覚を緩和する技術である。
現在のモデル編集方法は、特定の領域におけるモデルの振る舞いを効果的に修正することができる。
彼らはしばしば、LLMの一般的な能力に対する意図しない副作用の可能性を見落としている。
論文 参考訳(メタデータ) (2024-01-09T18:03:15Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳(メタデータ) (2023-05-22T16:00:00Z) - Edit at your own risk: evaluating the robustness of edited models to
distribution shifts [0.0]
モデル編集がモデルの一般的なロバスト性や、編集対象の特定の動作のロバスト性にどのように影響するかを検討する。
編集は一般的な堅牢性を低下させる傾向があるが、劣化の程度は編集アルゴリズムと選択した層に依存している。
これらの観測によって動機付けられた新しいモデル編集アルゴリズムである1-層 (1-LI) を導入し、重み空間を用いて編集タスクの精度と一般的なロバスト性の間のトレードオフをナビゲートする。
論文 参考訳(メタデータ) (2023-02-28T19:41:37Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。