論文の概要: Improving Fisher Information Estimation and Efficiency for LoRA-based LLM Unlearning

• arxiv url: http://arxiv.org/abs/2508.21300v1
• Date: Fri, 29 Aug 2025 01:45:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.91662
• Title: Improving Fisher Information Estimation and Efficiency for LoRA-based LLM Unlearning
• Title（参考訳）: LoRAに基づくLLMアンラーニングにおける漁獲量推定と効率の改善
• Authors: Yejin Kim, Eunwon Kim, Buru Chang, Junsuk Choe,
• Abstract要約: VILAは、FILAで見落とされた仮定を明示的に考慮する、新しいアンラーニングフレームワークである。 我々はTOFU、WMDP、MUSEなどのベンチマークで最先端のパフォーマンスを新たに設定した。
• 参考スコア（独自算出の注目度）: 15.880906462267935
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLMs have demonstrated remarkable performance across various tasks but face challenges related to unintentionally generating outputs containing sensitive information. A straightforward approach to address this issue is to retrain the model after excluding the problematic data. However, this approach incurs prohibitively high computational costs. To overcome this limitation, machine unlearning has emerged as a promising solution that can effectively remove sensitive information without the need to retrain the model from scratch. Recently, FILA has been proposed as a parameter-efficient unlearning method by integrating LoRA adapters. Specifically, it calculates the Fisher information to identify parameters associated with the forget set and assigns them to LoRA adapters for updates. Despite its innovative approach, FILA still requires access to all model parameters and does not adequately account for fundamental assumptions underlying Fisher information, leading to inaccuracies in importance estimation. To address these limitations, we propose VILA, a novel unlearning framework that explicitly considers the assumptions overlooked in FILA, thereby enhancing the accuracy of parameter identification for the forget set. Moreover, VILA significantly reduces computational costs by enabling parameter identification without accessing the entire model. Our method achieves up to 100x higher parameter efficiency and 40x faster training speed compared to FILA, and sets new state-of-the-art performance on benchmarks including TOFU, WMDP, and MUSE. Our code is available at https://github.com/kyj93790/VILA.
• Abstract（参考訳）: LLMは様々なタスクにおいて顕著な性能を示してきたが、機密情報を含む意図しない出力に関する課題に直面している。 この問題に対処するための簡単なアプローチは、問題のあるデータを除外した後、モデルを再トレーニングすることです。 しかし、このアプローチは計算コストを極端に高める。 この制限を克服するために、マシン・アンラーニングは、モデルをスクラッチから再トレーニングすることなく、センシティブな情報を効果的に除去できる有望なソリューションとして登場した。 FILAは,LoRAアダプタを組み込んだパラメータ効率の高い未学習手法として提案されている。 具体的には、Fisher情報を計算して、Deaksetに関連するパラメータを識別し、更新のためにLoRAアダプタに割り当てる。 その革新的なアプローチにもかかわらず、FILAは依然として全てのモデルパラメータへのアクセスを必要としており、フィッシャー情報に基づく基本的な仮定を適切に説明していない。 これらの制約に対処するために,FILAで見過ごされた仮定を明示的に考慮し,未知集合に対するパラメータ識別の精度を高める新しいアンラーニングフレームワークであるVILAを提案する。 さらに、VILAは、モデル全体にアクセスすることなくパラメータ識別を可能にすることにより、計算コストを大幅に削減する。 提案手法はFILAと比較して最大100倍のパラメータ効率と40倍のトレーニング速度を実現し,TOFU, WMDP, MUSEなどのベンチマーク上での最先端性能を新たに設定する。 私たちのコードはhttps://github.com/kyj93790/VILAで公開されています。

関連論文リスト

• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models [0.2939891130492345]
  低ランク適応(LoRA)と量子化LoRA(Quantized LoRA)は、人間の活動認識のためのフルモデル微調整に代わるスケーラブルな代替手段として検討されている。 LoRAは限られた監督下でも堅牢な性能を維持している。 QLoRAは、量子化によって凍結重量のメモリフットプリントを削減することで、これらの利点を拡張している。
  論文  参考訳（メタデータ） (2025-12-19T14:12:43Z)
• Informed Routing in LLMs: Smarter Token-Level Computation for Faster Inference [7.690958366125321]
  本稿では,これらの問題に積極的に対処する新しいパラダイムであるインフォメーションルーティングを紹介する。 我々は、ルーティング決定を行う前に、ユニットの出力を推定する小さな予測モジュールである軽量特徴予測器(LFF)を提案する。 言語モデリングと推論タスクの両方の実験は、情報ルーティングが最先端の効率と性能のトレードオフを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-10T09:59:36Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning [16.99490636203893]
  パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。 ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
  論文  参考訳（メタデータ） (2025-06-05T20:28:02Z)
• Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay [69.67914133280296]
  強化学習(RL)は、大規模言語モデル(LLM)の微調整に有効なアプローチとなっている。 LLM RLファインチューニングにおけるデータ効率向上のための2つの手法を提案する。 本手法は,従来のGRPOアルゴリズムと同等の性能を示しながら,RLの微調整時間を23%から62%削減する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:43Z)
• A Sensitivity-Driven Expert Allocation Method in LoRA-MoE for Efficient Fine-Tuning [0.6906005491572401]
  パラメータ感度のLoRA-SMoEに基づいて専門家数を割当てる手法を提案する。 実験の結果,LoRA-SMoE手法はトレーニング可能なパラメータの数を減らしながらモデル性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2025-05-06T13:22:46Z)
• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models [79.34513906324727]
  本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。 そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
  論文  参考訳（メタデータ） (2023-09-04T09:34:33Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。