論文の概要: Improving Fisher Information Estimation and Efficiency for LoRA-based LLM Unlearning

• arxiv url: http://arxiv.org/abs/2508.21300v1
• Date: Fri, 29 Aug 2025 01:45:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.91662
• Title: Improving Fisher Information Estimation and Efficiency for LoRA-based LLM Unlearning
• Title（参考訳）: LoRAに基づくLLMアンラーニングにおける漁獲量推定と効率の改善
• Authors: Yejin Kim, Eunwon Kim, Buru Chang, Junsuk Choe,
• Abstract要約: VILAは、FILAで見落とされた仮定を明示的に考慮する、新しいアンラーニングフレームワークである。 我々はTOFU、WMDP、MUSEなどのベンチマークで最先端のパフォーマンスを新たに設定した。
• 参考スコア（独自算出の注目度）: 15.880906462267935
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLMs have demonstrated remarkable performance across various tasks but face challenges related to unintentionally generating outputs containing sensitive information. A straightforward approach to address this issue is to retrain the model after excluding the problematic data. However, this approach incurs prohibitively high computational costs. To overcome this limitation, machine unlearning has emerged as a promising solution that can effectively remove sensitive information without the need to retrain the model from scratch. Recently, FILA has been proposed as a parameter-efficient unlearning method by integrating LoRA adapters. Specifically, it calculates the Fisher information to identify parameters associated with the forget set and assigns them to LoRA adapters for updates. Despite its innovative approach, FILA still requires access to all model parameters and does not adequately account for fundamental assumptions underlying Fisher information, leading to inaccuracies in importance estimation. To address these limitations, we propose VILA, a novel unlearning framework that explicitly considers the assumptions overlooked in FILA, thereby enhancing the accuracy of parameter identification for the forget set. Moreover, VILA significantly reduces computational costs by enabling parameter identification without accessing the entire model. Our method achieves up to 100x higher parameter efficiency and 40x faster training speed compared to FILA, and sets new state-of-the-art performance on benchmarks including TOFU, WMDP, and MUSE. Our code is available at https://github.com/kyj93790/VILA.
• Abstract（参考訳）: LLMは様々なタスクにおいて顕著な性能を示してきたが、機密情報を含む意図しない出力に関する課題に直面している。 この問題に対処するための簡単なアプローチは、問題のあるデータを除外した後、モデルを再トレーニングすることです。 しかし、このアプローチは計算コストを極端に高める。 この制限を克服するために、マシン・アンラーニングは、モデルをスクラッチから再トレーニングすることなく、センシティブな情報を効果的に除去できる有望なソリューションとして登場した。 FILAは,LoRAアダプタを組み込んだパラメータ効率の高い未学習手法として提案されている。 具体的には、Fisher情報を計算して、Deaksetに関連するパラメータを識別し、更新のためにLoRAアダプタに割り当てる。 その革新的なアプローチにもかかわらず、FILAは依然として全てのモデルパラメータへのアクセスを必要としており、フィッシャー情報に基づく基本的な仮定を適切に説明していない。 これらの制約に対処するために,FILAで見過ごされた仮定を明示的に考慮し,未知集合に対するパラメータ識別の精度を高める新しいアンラーニングフレームワークであるVILAを提案する。 さらに、VILAは、モデル全体にアクセスすることなくパラメータ識別を可能にすることにより、計算コストを大幅に削減する。 提案手法はFILAと比較して最大100倍のパラメータ効率と40倍のトレーニング速度を実現し,TOFU, WMDP, MUSEなどのベンチマーク上での最先端性能を新たに設定する。 私たちのコードはhttps://github.com/kyj93790/VILAで公開されています。

関連論文リスト

• Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning [16.99490636203893]
  パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。 ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
  論文  参考訳（メタデータ） (2025-06-05T20:28:02Z)
• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models [79.34513906324727]
  本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。 そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
  論文  参考訳（メタデータ） (2023-09-04T09:34:33Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。