論文の概要: LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples

• arxiv url: http://arxiv.org/abs/2512.07375v1
• Date: Mon, 08 Dec 2025 10:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.828164
• Title: LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples
• Title（参考訳）: LUNE: LoRAファインチューニングによる効率的なLLMアンラーニング
• Authors: Yezi Liu, Hanning Chen, Wenjun Huang, Yang Ni, Mohsen Imani,
• Abstract要約: 大規模言語モデル(LLM)は、広範な訓練コーパスから得られた膨大な知識を持っている。 従来のモデルアンラーニングアプローチでは、計算に高価な微調整や直接重み付けが必要となる。 LoRAベースのUnlearning with Negative Examples (LUNE)は、ローランクアダプタのみを更新することで、負のみのアンラーニングを実行する。
• 参考スコア（独自算出の注目度）: 17.898277374771254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) possess vast knowledge acquired from extensive training corpora, but they often cannot remove specific pieces of information when needed, which makes it hard to handle privacy, bias mitigation, and knowledge correction. Traditional model unlearning approaches require computationally expensive fine-tuning or direct weight editing, making them impractical for real-world deployment. In this work, we introduce LoRA-based Unlearning with Negative Examples (LUNE), a lightweight framework that performs negative-only unlearning by updating only low-rank adapters while freezing the backbone, thereby localizing edits and avoiding disruptive global changes. Leveraging Low-Rank Adaptation (LoRA), LUNE targets intermediate representations to suppress (or replace) requested knowledge with an order-of-magnitude lower compute and memory than full fine-tuning or direct weight editing. Extensive experiments on multiple factual unlearning tasks show that LUNE: (I) achieves effectiveness comparable to full fine-tuning and memory-editing methods, and (II) reduces computational cost by about an order of magnitude.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、広範囲なトレーニングコーパスから取得した膨大な知識を持っているが、必要に応じて特定の情報を削除できないことが多いため、プライバシやバイアス軽減、知識修正の処理が困難である。 従来のモデルアンラーニングアプローチでは、計算に高価な微調整や直接重み付けが必要であり、現実のデプロイメントでは実用的ではない。 本研究では,LoRAをベースとしたUnlearning with Negative Examples(LUNE)という,低ランクなアダプタのみをフリーズしながら更新し,編集をローカライズし,破壊的なグローバルな変更を避けることにより,負のみのアンラーニングを実現する軽量フレームワークを紹介した。 Low-Rank Adaptation (LoRA)を活用してLUNEは、要求された知識を完全な微調整や直接重み付けよりも低次の計算とメモリで抑制(または置き換え)するために中間表現をターゲットにしている。 複数の事実学習タスクに対する大規模な実験により、LUNE:(I)完全な微調整およびメモリ編集手法に匹敵する効率を実現し、(II)計算コストを約1桁削減した。

関連論文リスト

• NanoNet: Parameter-Efficient Learning with Label-Scarce Supervision for Lightweight Text Mining Model [51.055122269052696]
  NanoNetは、限られた監督下でパラメータ効率の学習を実装する軽量テキストマイニングのための新しいフレームワークである。 プロセス全体はパラメータ効率の学習を活用し、トレーニングコストを削減し、監督要件を最小限に抑え、最終的には下流推論のための軽量なモデルを生み出す。
  論文  参考訳（メタデータ） (2026-02-05T08:31:57Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• RapidUn: Influence-Driven Parameter Reweighting for Efficient Large Language Model Unlearning [5.265976319881303]
  インフルエンサー駆動かつパラメータ効率の高いアンラーニングフレームワークであるRapidUnを紹介した。 まず、高速な推定モジュールを通じてサンプルごとの影響を推定し、これらのスコアを適応的な更新重みにマッピングする。 Mistral-7BとLlama-3-8BはDlly-15kとAlpaca-57kで、RapidUnはフルリトレーニングの最大100倍の効率を実現している。
  論文  参考訳（メタデータ） (2025-12-04T05:00:52Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
  ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:31:03Z)
• Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Offset Unlearning for Large Language Models [49.851093293780615]
  delta-Unlearningは、ブラックボックスLLMのためのオフセットのアンラーニングフレームワークである。 デルタアンラーニングは、一般的な対物スコープタスクにおいて、類似またはより強い性能を維持しながら、効果的にターゲットデータを解放できることを示す。
  論文  参考訳（メタデータ） (2024-04-17T03:39:51Z)
• PILLOW: Enhancing Efficient Instruction Fine-tuning via Prompt Matching [20.607323649079845]
  Low-Rank Adaptation (LoRA)は、命令の微調整に代わる有望な代替手段となっている。 PILLOWは差別ベースのLLM機能によってLoRAのパフォーマンスを改善することを目的としている。 PILLOWは、一般的な命令の微調整手法と比較して、様々な評価指標に相反する性能を示す。
  論文  参考訳（メタデータ） (2023-12-09T17:38:39Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。