論文の概要: Editing as Unlearning: Are Knowledge Editing Methods Strong Baselines for Large Language Model Unlearning?

• arxiv url: http://arxiv.org/abs/2505.19855v1
• Date: Mon, 26 May 2025 11:39:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.392867
• Title: Editing as Unlearning: Are Knowledge Editing Methods Strong Baselines for Large Language Model Unlearning?
• Title（参考訳）: アンラーニングとしての編集: 知識編集手法は大規模言語モデルアンラーニングのための強力なベースラインか?
• Authors: Zexi Li, Xiangzhu Wang, William F. Shen, Meghdad Kurmanji, Xinchi Qiu, Dongqi Cai, Chao Wu, Nicholas D. Lane,
• Abstract要約: 編集とアンラーニングは2つの異なるタスクのようですが、それらの間には密接な関係があることが分かりました。 知識編集技術がLLMアンラーニングの強力なベースラインであるかどうかを評価する。 未学習アプリケーションの編集方法を改善するために,自己改善とクエリマージを含む実践的なレシピを提案する。
• 参考スコア（独自算出の注目度）: 14.656572343761153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language Model (LLM) unlearning, i.e., selectively removing information from LLMs, is vital for responsible model deployment. Differently, LLM knowledge editing aims to modify LLM knowledge instead of removing it. Though editing and unlearning seem to be two distinct tasks, we find there is a tight connection between them. In this paper, we conceptualize unlearning as a special case of editing where information is modified to a refusal or "empty set" $\emptyset$ response, signifying its removal. This paper thus investigates if knowledge editing techniques are strong baselines for LLM unlearning. We evaluate state-of-the-art (SOTA) editing methods (e.g., ROME, MEMIT, GRACE, WISE, and AlphaEdit) against existing unlearning approaches on pretrained and finetuned knowledge. Results show certain editing methods, notably WISE and AlphaEdit, are effective unlearning baselines, especially for pretrained knowledge, and excel in generating human-aligned refusal answers. To better adapt editing methods for unlearning applications, we propose practical recipes including self-improvement and query merging. The former leverages the LLM's own in-context learning ability to craft a more human-aligned unlearning target, and the latter enables ROME and MEMIT to perform well in unlearning longer sample sequences. We advocate for the unlearning community to adopt SOTA editing methods as baselines and explore unlearning from an editing perspective for more holistic LLM memory control.
• Abstract（参考訳）: 大規模言語モデル(LLM)アンラーニング、すなわち LLM から情報を選択的に取り除くことは、モデル展開の責任を負う上で不可欠である。 異なることに、LLM知識編集は、LLM知識を削除せずに変更することを目的としている。 編集と未学習には2つの異なるタスクがあるように見えるが、それらの間には密接な関係がある。 本稿では,情報の修正を拒否あるいは「空集合」として行う場合の特別な事例として,アンラーニングを概念化し,その除去を示唆する。 そこで本研究では,LLMアンラーニングのための知識編集技術が強力なベースラインであるかどうかを考察する。 我々は,既存の未学習の学習手法に対して,SOTA(State-of-the-art)編集手法(例えば,ROME,MEMIT,GRACE,WISE,AlphaEdit)を評価した。 その結果、WISEやAlphaEditのような特定の編集手法は、特に事前学習された知識に対して効果的な未学習のベースラインであり、ヒューマンアライメントされた拒絶回答を生成するのに優れていることが示された。 未学習アプリケーションの編集方法を改善するために,自己改善やクエリのマージといった実践的なレシピを提案する。 前者はLLM独自のコンテキスト内学習機能を活用して、より人間に整合した未学習ターゲットを構築する。 我々は,非学習コミュニティにおいて,SOTA編集方法をベースラインとして採用し,より総合的なLCMメモリ制御のための編集の観点からアンラーニングを探求することを提唱する。

関連論文リスト

• MindBridge: Scalable and Cross-Model Knowledge Editing via Memory-Augmented Modality [55.01380617388064]
  既存のほとんどのメソッドは特定のモデルに過度に適合し、更新毎に編集済みの知識を破棄する。 マルチモーダルモデルにおけるモダリティ処理とLLMの低結合に着想を得た,スケーラブルなソリューションであるMindBridgeを紹介する。 MindBridgeは数万の知識エントリを編集しても優れたパフォーマンスを実現し、異なるLLMに柔軟に対応できる。
  論文  参考訳（メタデータ） (2025-03-04T15:17:57Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning [30.554641380670315]
  本稿では,生涯学習における編集効率と推論効率を向上させるために,ContInuous Prompt lEarning法であるRECIPEを紹介する。 RECIPEはまず、知識文をLLMの入力クエリの埋め込みにプレフィックスした、短くて情報的な連続的なプロンプトに変換する。 さらに、動的しきい値を計算するために仲介役として機能する知識センチネル(KS)を統合する。 我々のレトリバーとプロンプトエンコーダは、信頼性、一般性、局所性といった編集特性を達成するために共同で訓練されている。
  論文  参考訳（メタデータ） (2024-05-06T08:52:11Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。 既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。 知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:52:26Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models [45.70959260613425]
  本稿では,大規模言語モデルのための知識編集フレームワークであるEasyEditを提案する。 様々な最先端の知識編集アプローチをサポートし、よく知られたLLMにも容易に適用できる。 我々はLlaMA-2の知識編集結果をEasyEditで報告し、知識編集が従来の微調整よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-14T16:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。