論文の概要: Model Editing Can Hurt General Abilities of Large Language Models

• arxiv url: http://arxiv.org/abs/2401.04700v2
• Date: Sun, 4 Feb 2024 19:04:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 03:17:32.165483
• Title: Model Editing Can Hurt General Abilities of Large Language Models
• Title（参考訳）: モデル編集は大規模言語モデルの一般的な能力を傷つける
• Authors: Jia-Chen Gu, Hao-Xiang Xu, Jun-Yu Ma, Pan Lu, Zhen-Hua Ling, Kai-Wei Chang, Nanyun Peng
• Abstract要約: LLaMA-1 (7B) の編集に特定の方法を用いることで、単一の編集だけで選択された全てのタスクにおいて、大幅な性能低下が0に近づいた。 LLaMA-1 (7B) の編集に特定の方法を用いることで、単一の編集だけで選択された全てのタスクにおいて、大幅な性能低下が0に近づいた。
• 参考スコア（独自算出の注目度）: 128.32797540883507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One critical challenge that has emerged is the presence of hallucinations in the output of large language models (LLMs) due to false or outdated knowledge. Since retraining LLMs with updated information is resource-intensive, there has been a growing interest in model editing. However, current model editing methods, while effective in improving editing performance in various scenarios, often overlook potential side effects on the general abilities of LLMs. In this paper, we raise concerns that model editing inherently improves the factuality of the model, but may come at the cost of a significant degradation of these general abilities. Systematically, we analyze side effects by evaluating four popular editing methods on three LLMs across eight representative task categories. Extensive empirical research reveals that current model editing methods are difficult to couple well with LLMs to simultaneously improve the factuality and maintain the general abilities such as reasoning, question answering, etc. Strikingly, the use of a specific method to edit LLaMA-1 (7B) resulted in a drastic performance degradation to nearly 0 on all selected tasks with just a single edit. Therefore, we advocate for more research efforts to minimize the loss of general abilities acquired during LLM pre-training and to ultimately preserve them during model editing.
• Abstract（参考訳）: 重要な課題の1つは、嘘や時代遅れの知識によって大きな言語モデル(LLM)の出力に幻覚が存在することである。 更新情報によるLLMの再学習は資源集約的であるため,モデル編集への関心が高まっている。 しかし、現在のモデル編集手法は様々なシナリオにおける編集性能の改善に有効であるが、LLMの一般的な能力に対する潜在的な副作用を見落としていることが多い。 本稿では、モデル編集が本質的にモデルの事実性を改善するという懸念を提起するが、これらの一般的な能力を著しく劣化させるコストがかかる可能性がある。 システム的には,8つのタスクカテゴリにまたがる3つのLSMに対して,4つの一般的な編集方法を評価することで副作用を分析する。 広範な実証研究により、現在のモデル編集手法とllmをうまく組み合わせることで事実性が向上し、推論や質問応答などの一般的な能力を維持することが困難であることが判明した。 興味深いことに、LLaMA-1 (7B) の編集に特定のメソッドを使用することで、選択されたすべてのタスクにおいて、1つの編集だけで大幅にパフォーマンスが低下した。 そこで,本研究では,LLM事前学習時に得られる一般能力の喪失を最小化し,モデル編集時に最終的に保存する研究の取り組みをさらに進める。

関連論文リスト

• The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
  質問応答アプリケーションにおけるモデル編集の有効性について検討する。 単一の編集実験により、現在行われている編集手法は、以前報告したよりも大幅に悪化していることが示された。 本分析は,既存のモデル編集手法の現実的適用性と評価手法の両面について,基礎的な再検討を行うものである。
  論文  参考訳（メタデータ） (2025-02-16T15:57:55Z)
• K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
  知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。 我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
  論文  参考訳（メタデータ） (2025-02-15T01:35:13Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• Perturbation-Restrained Sequential Model Editing [33.51709226068619]
  現在のモデル編集手法は、編集数が増加するにつれて、大きな言語モデル(LLM)の一般的な能力を損なう。 編集用上層部における摂動抑制フレームワーク(PRUNE)を提案する。 PRUNEは、シーケンシャルモデル編集において、編集性能を効果的に維持しながら、かなりの汎用性を維持できる。
  論文  参考訳（メタデータ） (2024-05-27T04:40:56Z)
• Efficiently Quantifying and Mitigating Ripple Effects in Model Editing [27.627105709896025]
  大規模な言語モデルは、時代遅れまたは誤った情報の修正に不可欠である。 これらのモデルを編集すると、しばしば、隠れた空間におけるリップル効果と呼ばれる複雑な問題が発生する。 本稿では,モデルの適応とその後の編集の影響を定量的に評価する新しい評価手法を提案する。 さらに,このリップル効果を緩和するモデル編集法であるSelective Impact Revision(SIR)を導入する。
  論文  参考訳（メタデータ） (2024-03-12T17:04:28Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Edit at your own risk: evaluating the robustness of edited models to distribution shifts [0.0]
  モデル編集がモデルの一般的なロバスト性や、編集対象の特定の動作のロバスト性にどのように影響するかを検討する。 編集は一般的な堅牢性を低下させる傾向があるが、劣化の程度は編集アルゴリズムと選択した層に依存している。 これらの観測によって動機付けられた新しいモデル編集アルゴリズムである1-層 (1-LI) を導入し、重み空間を用いて編集タスクの精度と一般的なロバスト性の間のトレードオフをナビゲートする。
  論文  参考訳（メタデータ） (2023-02-28T19:41:37Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。