論文の概要: LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples

• arxiv url: http://arxiv.org/abs/2512.07375v1
• Date: Mon, 08 Dec 2025 10:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.828164
• Title: LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples
• Title（参考訳）: LUNE: LoRAファインチューニングによる効率的なLLMアンラーニング
• Authors: Yezi Liu, Hanning Chen, Wenjun Huang, Yang Ni, Mohsen Imani,
• Abstract要約: 大規模言語モデル(LLM)は、広範な訓練コーパスから得られた膨大な知識を持っている。 従来のモデルアンラーニングアプローチでは、計算に高価な微調整や直接重み付けが必要となる。 LoRAベースのUnlearning with Negative Examples (LUNE)は、ローランクアダプタのみを更新することで、負のみのアンラーニングを実行する。
• 参考スコア（独自算出の注目度）: 17.898277374771254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) possess vast knowledge acquired from extensive training corpora, but they often cannot remove specific pieces of information when needed, which makes it hard to handle privacy, bias mitigation, and knowledge correction. Traditional model unlearning approaches require computationally expensive fine-tuning or direct weight editing, making them impractical for real-world deployment. In this work, we introduce LoRA-based Unlearning with Negative Examples (LUNE), a lightweight framework that performs negative-only unlearning by updating only low-rank adapters while freezing the backbone, thereby localizing edits and avoiding disruptive global changes. Leveraging Low-Rank Adaptation (LoRA), LUNE targets intermediate representations to suppress (or replace) requested knowledge with an order-of-magnitude lower compute and memory than full fine-tuning or direct weight editing. Extensive experiments on multiple factual unlearning tasks show that LUNE: (I) achieves effectiveness comparable to full fine-tuning and memory-editing methods, and (II) reduces computational cost by about an order of magnitude.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、広範囲なトレーニングコーパスから取得した膨大な知識を持っているが、必要に応じて特定の情報を削除できないことが多いため、プライバシやバイアス軽減、知識修正の処理が困難である。 従来のモデルアンラーニングアプローチでは、計算に高価な微調整や直接重み付けが必要であり、現実のデプロイメントでは実用的ではない。 本研究では,LoRAをベースとしたUnlearning with Negative Examples(LUNE)という,低ランクなアダプタのみをフリーズしながら更新し,編集をローカライズし,破壊的なグローバルな変更を避けることにより,負のみのアンラーニングを実現する軽量フレームワークを紹介した。 Low-Rank Adaptation (LoRA)を活用してLUNEは、要求された知識を完全な微調整や直接重み付けよりも低次の計算とメモリで抑制(または置き換え)するために中間表現をターゲットにしている。 複数の事実学習タスクに対する大規模な実験により、LUNE:(I)完全な微調整およびメモリ編集手法に匹敵する効率を実現し、(II)計算コストを約1桁削減した。

関連論文リスト

• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
  ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:31:03Z)
• Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Offset Unlearning for Large Language Models [49.851093293780615]
  delta-Unlearningは、ブラックボックスLLMのためのオフセットのアンラーニングフレームワークである。 デルタアンラーニングは、一般的な対物スコープタスクにおいて、類似またはより強い性能を維持しながら、効果的にターゲットデータを解放できることを示す。
  論文  参考訳（メタデータ） (2024-04-17T03:39:51Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。