論文の概要: Should We Really Edit Language Models? On the Evaluation of Edited Language Models

• arxiv url: http://arxiv.org/abs/2410.18785v1
• Date: Thu, 24 Oct 2024 14:36:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 16:43:42.212947
• Title: Should We Really Edit Language Models? On the Evaluation of Edited Language Models
• Title（参考訳）: 言語モデルを本当に編集すべきか? : 編集言語モデルの評価について
• Authors: Qi Li, Xiang Liu, Zhenheng Tang, Peijie Dong, Zeyu Li, Xinglin Pan, Xiaowen Chu,
• Abstract要約: 既存の編集手法は、一般的なベンチマークで必然的にパフォーマンスが低下する。 インストラクションチューニングされたモデルは、編集がより堅牢で、編集後の一般的な知識に対するパフォーマンス低下が少ない。 その結果,現在の編集手法は,言語モデル内の小規模な知識更新にのみ適していることがわかった。
• 参考スコア（独自算出の注目度）: 15.63231238452797
• License:
• Abstract: Model editing has become an increasingly popular alternative for efficiently updating knowledge within language models. Current methods mainly focus on reliability, generalization, and locality, with many methods excelling across these criteria. Some recent works disclose the pitfalls of these editing methods such as knowledge distortion or conflict. However, the general abilities of post-edited language models remain unexplored. In this paper, we perform a comprehensive evaluation on various editing methods and different language models, and have following findings. (1) Existing editing methods lead to inevitable performance deterioration on general benchmarks, indicating that existing editing methods maintain the general abilities of the model within only a few dozen edits. When the number of edits is slightly large, the intrinsic knowledge structure of the model is disrupted or even completely damaged. (2) Instruction-tuned models are more robust to editing, showing less performance drop on general knowledge after editing. (3) Language model with large scale is more resistant to editing compared to small model. (4) The safety of the edited model, is significantly weakened, even for those safety-aligned models. Our findings indicate that current editing methods are only suitable for small-scale knowledge updates within language models, which motivates further research on more practical and reliable editing methods. The details of code and reproduction can be found in https://github.com/lqinfdim/EditingEvaluation.
• Abstract（参考訳）: モデル編集は、言語モデル内の知識を効率的に更新する代替手段として、ますます人気が高まっている。 現在の手法は主に信頼性、一般化、局所性に重点を置いており、多くの手法がこれらの基準を越えて優れている。 いくつかの最近の研究は、知識の歪みや矛盾など、これらの編集方法の落とし穴を明らかにしている。 しかし、後述の言語モデルの一般的な能力は未解明のままである。 本稿では,様々な編集手法と言語モデルに関する総合的な評価を行い,以下の結果を得た。 1)既存の編集手法は一般的なベンチマークでは必然的な性能劣化を招き,既存の編集手法では数ダース程度の編集でモデルの汎用性を維持できることを示した。 編集回数がわずかに大きい場合には、モデル固有の知識構造が破壊されるか、あるいは完全に損傷する。 2) インストラクション調整モデルでは, 編集後の一般的な知識に対する性能低下が抑制され, 編集の堅牢性が向上した。 (3) 大規模言語モデルは小モデルに比べて編集に抵抗性が高い。 (4) 編集モデルの安全性は, 安全性に配慮したモデルであっても著しく低下している。 本研究は,既存の編集手法が言語モデル内の小規模な知識更新にのみ適していることを示し,より実用的で信頼性の高い編集手法のさらなる研究を動機付けている。 コードと再現の詳細はhttps://github.com/lqinfdim/EditingEvaluation.comで確認できる。

関連論文リスト

• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• Fundamental Problems With Model Editing: How Should Rational Belief Revision Work in LLMs? [61.68363765350178]
  本稿では,モデル編集問題の標準的な定式化を批判し,モデル編集研究のための形式的テストベッドを提案する。 まず,(1) 問題の定義,(2) ベンチマークの開発,(3) LLM がそもそも編集可能な信念を持っていることを前提として,モデル編集における12のオープンな問題について述べる。 次に、Wikidataに基づくモデル編集のための半合成データセットを導入し、理想化されたベイズエージェントによって与えられるラベルに対する編集を評価する。
  論文  参考訳（メタデータ） (2024-06-27T17:33:03Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing at Scale leads to Gradual and Catastrophic Forgetting [2.569159339315845]
  本稿では,ROMEとMEMITの2つの手法に焦点をあてて,現在のモデル編集手法を大規模に評価する。 モデルが複数の事実と逐次的に編集されるにつれて、以前編集された事実と下流タスクの実行能力を常に忘れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-15T03:57:15Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• DUnE: Dataset for Unified Editing [3.7346004746366384]
  自然言語文を編集するDUnE-an編集ベンチマークを導入する。 検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-27T18:56:14Z)
• Edit at your own risk: evaluating the robustness of edited models to distribution shifts [0.0]
  モデル編集がモデルの一般的なロバスト性や、編集対象の特定の動作のロバスト性にどのように影響するかを検討する。 編集は一般的な堅牢性を低下させる傾向があるが、劣化の程度は編集アルゴリズムと選択した層に依存している。 これらの観測によって動機付けられた新しいモデル編集アルゴリズムである1-層 (1-LI) を導入し、重み空間を用いて編集タスクの精度と一般的なロバスト性の間のトレードオフをナビゲートする。
  論文  参考訳（メタデータ） (2023-02-28T19:41:37Z)
• Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors [53.819805242367345]
  本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。 GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。 T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
  論文  参考訳（メタデータ） (2022-11-20T17:18:22Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。