論文の概要: RapidUn: Influence-Driven Parameter Reweighting for Efficient Large Language Model Unlearning

• arxiv url: http://arxiv.org/abs/2512.04457v1
• Date: Thu, 04 Dec 2025 05:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.998523
• Title: RapidUn: Influence-Driven Parameter Reweighting for Efficient Large Language Model Unlearning
• Title（参考訳）: RapidUn: 効率の良い大規模言語モデル学習のための影響駆動型パラメータ再重み付け
• Authors: Guoshenghui Zhao, Huawei Lin, Weijie Zhao,
• Abstract要約: インフルエンサー駆動かつパラメータ効率の高いアンラーニングフレームワークであるRapidUnを紹介した。 まず、高速な推定モジュールを通じてサンプルごとの影響を推定し、これらのスコアを適応的な更新重みにマッピングする。 Mistral-7BとLlama-3-8BはDlly-15kとAlpaca-57kで、RapidUnはフルリトレーニングの最大100倍の効率を実現している。
• 参考スコア（独自算出の注目度）: 5.265976319881303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Removing specific data influence from large language models (LLMs) remains challenging, as retraining is costly and existing approximate unlearning methods are often unstable. The challenge is exacerbated when the forget set is small or imbalanced. We introduce RapidUn, an influence-driven and parameter-efficient unlearning framework. It first estimates per-sample influence through a fast estimation module, then maps these scores into adaptive update weights that guide selective parameter updates -- forgetting harmful behavior while retaining general knowledge. On Mistral-7B and Llama-3-8B across Dolly-15k and Alpaca-57k, RapidUn achieves up to 100 times higher efficiency than full retraining and consistently outperforms Fisher, GA, and LoReUn on both in-distribution and out-of-distribution forgetting. These results establish influence-guided parameter reweighting as a scalable and interpretable paradigm for LLM unlearning.
• Abstract（参考訳）: 大規模な言語モデル(LLM)から特定のデータの影響を除去することは依然として困難であり、トレーニングはコストがかかり、既存の近似未学習手法は不安定であることが多い。 課題は、忘れセットが小さく、あるいは不均衡であるときに悪化する。 インフルエンサー駆動かつパラメータ効率の高いアンラーニングフレームワークであるRapidUnを紹介した。 まず、高速な見積モジュールを通じてサンプルごとの影響を推定し、次にこれらのスコアを適応的な更新重みにマッピングし、選択パラメータの更新を導く -- 一般的な知識を維持しながら有害な振る舞いを忘れる。 Mistral-7B と Llama-3-8B は Dolly-15k と Alpaca-57k で、RapidUn はフルリトレーニングの最大100倍の効率を実現し、Fisher, GA, LoReUn よりずっと優れている。 これらの結果は、LLMアンラーニングのためのスケーラブルで解釈可能なパラダイムとして、影響誘導パラメータ再重み付けを確立する。

関連論文リスト

• Informed Routing in LLMs: Smarter Token-Level Computation for Faster Inference [7.690958366125321]
  本稿では,これらの問題に積極的に対処する新しいパラダイムであるインフォメーションルーティングを紹介する。 我々は、ルーティング決定を行う前に、ユニットの出力を推定する小さな予測モジュールである軽量特徴予測器(LFF)を提案する。 言語モデリングと推論タスクの両方の実験は、情報ルーティングが最先端の効率と性能のトレードオフを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-10T09:59:36Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models [43.26028399395612]
  本稿では,2つの新しい手法を用いたフィッシャー情報に基づく効率的なカリキュラムフェデレート学習フレームワーク(FibecFed)を提案する。 まず,各装置内のデータを適応的にサンプリングし,FL微調整プロセスの有効性を向上させるための漁師情報に基づく手法を提案する。 第2に,グローバルアグリゲーションのための適切なレイヤとLoRAによるローカル更新のためのスパースパラメータを動的に選択する。
  論文  参考訳（メタデータ） (2024-09-30T18:12:18Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。