論文の概要: Investigating Model Editing for Unlearning in Large Language Models

• arxiv url: http://arxiv.org/abs/2512.20794v1
• Date: Tue, 23 Dec 2025 21:41:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.612101
• Title: Investigating Model Editing for Unlearning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける未学習のためのモデル編集の検討
• Authors: Shariqah Hossain, Lalana Kagal,
• Abstract要約: 機械学習は、不要な情報をモデルから取り除くことを目的としているが、多くの手法は大量のパラメータを持つLLMにとって非効率である。 モデル編集アルゴリズムは、モデル内の情報を変更するという同様の問題を解決するが、その情報を完全に削除するのではなく、入力を新しいターゲットにリダイレクトすることに重点を置いている。 モデル編集手法は,設定によっては忘れられる品質の点で,ベースラインの未学習手法を超えうることを示す。
• 参考スコア（独自算出の注目度）: 0.6875312133832078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning aims to remove unwanted information from a model, but many methods are inefficient for LLMs with large numbers of parameters or fail to fully remove the intended information without degrading performance on knowledge that should be retained. Model editing algorithms solve a similar problem of changing information in models, but they focus on redirecting inputs to a new target rather than removing that information altogether. In this work, we explore the editing algorithms ROME, IKE, and WISE and design new editing targets for an unlearning setting. Through this investigation, we show that model editing approaches can exceed baseline unlearning methods in terms of quality of forgetting depending on the setting. Like traditional unlearning techniques, they struggle to encapsulate the scope of what is to be unlearned without damage to the overall model performance.
• Abstract（参考訳）: 機械学習は、不要な情報をモデルから取り除くことを目的としているが、多くの手法は、大量のパラメータを持つLLMにとって非効率であり、保持すべき知識の性能を低下させることなく、意図した情報を完全に除去することができない。 モデル編集アルゴリズムは、モデル内の情報を変更するという同様の問題を解決するが、その情報を完全に削除するのではなく、入力を新しいターゲットにリダイレクトすることに重点を置いている。 本研究では,ROME,IKE,WISEの編集アルゴリズムを探索し,未学習環境のための新しい編集ターゲットを設計する。 本研究では, モデル編集手法が, 設定によっては忘れられる品質の点で, ベースラインの未学習手法を超えうることを示す。 従来の未学習のテクニックと同様に、モデル全体のパフォーマンスを損なうことなく、未学習のものの範囲をカプセル化するのに苦労する。

関連論文リスト

• Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
  LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。 本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
  論文  参考訳（メタデータ） (2025-07-06T03:08:49Z)
• Sharpness-Aware Parameter Selection for Machine Unlearning [6.397490580631141]
  クレジットカード番号やパスワードなど、機密性の高い個人情報が誤って機械学習モデルのトレーニングに組み込まれており、その後削除する必要がある場合が多い。 この問題に対処するために、文献に様々な機械学習技術が提案されている。 提案手法のほとんどは、トレーニングされたモデルから個々のデータサンプルを除去するものである。 これらのタスクの既存の方法は、モデルパラメータの集合全体またはモデルの最後の層のみを更新することで、未学習タスクを行うが、未学習ターゲット機能に最も貢献するモデルパラメータのサブセットが存在することを示す。
  論文  参考訳（メタデータ） (2025-04-08T19:41:07Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。