論文の概要: Editing as Unlearning: Are Knowledge Editing Methods Strong Baselines for Large Language Model Unlearning?

• arxiv url: http://arxiv.org/abs/2505.19855v1
• Date: Mon, 26 May 2025 11:39:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.392867
• Title: Editing as Unlearning: Are Knowledge Editing Methods Strong Baselines for Large Language Model Unlearning?
• Title（参考訳）: アンラーニングとしての編集: 知識編集手法は大規模言語モデルアンラーニングのための強力なベースラインか?
• Authors: Zexi Li, Xiangzhu Wang, William F. Shen, Meghdad Kurmanji, Xinchi Qiu, Dongqi Cai, Chao Wu, Nicholas D. Lane,
• Abstract要約: 編集とアンラーニングは2つの異なるタスクのようですが、それらの間には密接な関係があることが分かりました。 知識編集技術がLLMアンラーニングの強力なベースラインであるかどうかを評価する。 未学習アプリケーションの編集方法を改善するために,自己改善とクエリマージを含む実践的なレシピを提案する。
• 参考スコア（独自算出の注目度）: 14.656572343761153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language Model (LLM) unlearning, i.e., selectively removing information from LLMs, is vital for responsible model deployment. Differently, LLM knowledge editing aims to modify LLM knowledge instead of removing it. Though editing and unlearning seem to be two distinct tasks, we find there is a tight connection between them. In this paper, we conceptualize unlearning as a special case of editing where information is modified to a refusal or "empty set" $\emptyset$ response, signifying its removal. This paper thus investigates if knowledge editing techniques are strong baselines for LLM unlearning. We evaluate state-of-the-art (SOTA) editing methods (e.g., ROME, MEMIT, GRACE, WISE, and AlphaEdit) against existing unlearning approaches on pretrained and finetuned knowledge. Results show certain editing methods, notably WISE and AlphaEdit, are effective unlearning baselines, especially for pretrained knowledge, and excel in generating human-aligned refusal answers. To better adapt editing methods for unlearning applications, we propose practical recipes including self-improvement and query merging. The former leverages the LLM's own in-context learning ability to craft a more human-aligned unlearning target, and the latter enables ROME and MEMIT to perform well in unlearning longer sample sequences. We advocate for the unlearning community to adopt SOTA editing methods as baselines and explore unlearning from an editing perspective for more holistic LLM memory control.
• Abstract（参考訳）: 大規模言語モデル(LLM)アンラーニング、すなわち LLM から情報を選択的に取り除くことは、モデル展開の責任を負う上で不可欠である。 異なることに、LLM知識編集は、LLM知識を削除せずに変更することを目的としている。 編集と未学習には2つの異なるタスクがあるように見えるが、それらの間には密接な関係がある。 本稿では,情報の修正を拒否あるいは「空集合」として行う場合の特別な事例として,アンラーニングを概念化し,その除去を示唆する。 そこで本研究では,LLMアンラーニングのための知識編集技術が強力なベースラインであるかどうかを考察する。 我々は,既存の未学習の学習手法に対して,SOTA(State-of-the-art)編集手法(例えば,ROME,MEMIT,GRACE,WISE,AlphaEdit)を評価した。 その結果、WISEやAlphaEditのような特定の編集手法は、特に事前学習された知識に対して効果的な未学習のベースラインであり、ヒューマンアライメントされた拒絶回答を生成するのに優れていることが示された。 未学習アプリケーションの編集方法を改善するために,自己改善やクエリのマージといった実践的なレシピを提案する。 前者はLLM独自のコンテキスト内学習機能を活用して、より人間に整合した未学習ターゲットを構築する。 我々は,非学習コミュニティにおいて,SOTA編集方法をベースラインとして採用し,より総合的なLCMメモリ制御のための編集の観点からアンラーニングを探求することを提唱する。

関連論文リスト

• MindBridge: Scalable and Cross-Model Knowledge Editing via Memory-Augmented Modality [55.01380617388064]
  既存のほとんどのメソッドは特定のモデルに過度に適合し、更新毎に編集済みの知識を破棄する。 マルチモーダルモデルにおけるモダリティ処理とLLMの低結合に着想を得た,スケーラブルなソリューションであるMindBridgeを紹介する。 MindBridgeは数万の知識エントリを編集しても優れたパフォーマンスを実現し、異なるLLMに柔軟に対応できる。
  論文  参考訳（メタデータ） (2025-03-04T15:17:57Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models [45.70959260613425]
  本稿では,大規模言語モデルのための知識編集フレームワークであるEasyEditを提案する。 様々な最先端の知識編集アプローチをサポートし、よく知られたLLMにも容易に適用できる。 我々はLlaMA-2の知識編集結果をEasyEditで報告し、知識編集が従来の微調整よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-14T16:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。