論文の概要: Module-Aware Parameter-Efficient Machine Unlearning on Transformers

• arxiv url: http://arxiv.org/abs/2508.17233v1
• Date: Sun, 24 Aug 2025 07:15:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.417876
• Title: Module-Aware Parameter-Efficient Machine Unlearning on Transformers
• Title（参考訳）: 変圧器を用いたモジュール認識パラメータ学習
• Authors: Wenjie Bao, Jian Lou, Yuke Hu, Xiaochen Li, Zhihao Liu, Jiaqi Liu, Zhan Qin, Kui Ren,
• Abstract要約: モジュール認識型パラメータ認識型機械学習手法である tt MAPE-Unlearn を提案する。 これらのマスクの学習目的は、非学習のデシダラタによって導出され、効率的なアルゴリズムによって最適化される。 様々なTransformerモデルとデータセットの実験は、未学習のためのtt MAPE-Unlearnの有効性と堅牢性を示している。
• 参考スコア（独自算出の注目度）: 40.87256767631759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer has become fundamental to a vast series of pre-trained large models that have achieved remarkable success across diverse applications. Machine unlearning, which focuses on efficiently removing specific data influences to comply with privacy regulations, shows promise in restricting updates to influence-critical parameters. However, existing parameter-efficient unlearning methods are largely devised in a module-oblivious manner, which tends to inaccurately identify these parameters and leads to inferior unlearning performance for Transformers. In this paper, we propose {\tt MAPE-Unlearn}, a module-aware parameter-efficient machine unlearning approach that uses a learnable pair of masks to pinpoint influence-critical parameters in the heads and filters of Transformers. The learning objective of these masks is derived by desiderata of unlearning and optimized through an efficient algorithm featured by a greedy search with a warm start. Extensive experiments on various Transformer models and datasets demonstrate the effectiveness and robustness of {\tt MAPE-Unlearn} for unlearning.
• Abstract（参考訳）: トランスフォーマーは、様々なアプリケーションにまたがって顕著な成功を収めた、訓練済みの多数の大規模モデルの基礎となった。 プライバシ規制に従うために、特定のデータの影響を効率的に除去することに焦点を当てた機械学習は、影響クリティカルパラメータの更新を制限することを約束している。 しかし、既存のパラメータ効率の未学習手法は、これらのパラメータを不正確に識別する傾向があり、トランスフォーマーの未学習性能が低下する傾向にある。 本稿では,学習可能なマスクのペアを用いて,トランスフォーマーの頭部およびフィルタに影響を及ぼすパラメータをピンポイントするモジュール認識型パラメータ非学習手法である {\tt MAPE-Unlearn} を提案する。 これらのマスクの学習目的は、未学習のデシダラタによって導出され、温かいスタートを伴う欲求探索によって特徴付けられる効率的なアルゴリズムによって最適化される。 様々なトランスフォーマーモデルとデータセットに対する広範囲な実験は、未学習における {\tt MAPE-Unlearn} の有効性と堅牢性を示している。

関連論文リスト

• Sharpness-Aware Parameter Selection for Machine Unlearning [6.397490580631141]
  クレジットカード番号やパスワードなど、機密性の高い個人情報が誤って機械学習モデルのトレーニングに組み込まれており、その後削除する必要がある場合が多い。 この問題に対処するために、文献に様々な機械学習技術が提案されている。 提案手法のほとんどは、トレーニングされたモデルから個々のデータサンプルを除去するものである。 これらのタスクの既存の方法は、モデルパラメータの集合全体またはモデルの最後の層のみを更新することで、未学習タスクを行うが、未学習ターゲット機能に最も貢献するモデルパラメータのサブセットが存在することを示す。
  論文  参考訳（メタデータ） (2025-04-08T19:41:07Z)
• SEMU: Singular Value Decomposition for Efficient Machine Unlearning [9.61813564612515]
  マシン・アンラーニング(MU)は、今後の安全規則を満たすためにますます重要になっている。 効率的な機械学習(SEMU)のための特異値分解法を提案する。 SEMUは変更が必要なモデルパラメータの数を最小限に抑え、不要な知識を効果的に除去する。
  論文  参考訳（メタデータ） (2025-02-11T14:36:39Z)
• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• WeGeFT: Weight-Generative Fine-Tuning for Multi-Faceted Efficient Adaptation of Large Models [8.481707805559589]
  WeGeFT(Weight-Generative Fine-Tuning)は、トレーニング済みの重みから直接微調整重みを生成することを学習する新しい手法である。 この設計は、パラメータ、表現、計算、メモリの多面的効率を実現し、LoRAとその変種の性能を維持したり、超えたりしている。
  論文  参考訳（メタデータ） (2023-12-01T16:33:57Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• Subformer: Exploring Weight Sharing for Parameter Efficiency in Generative Transformers [16.88840622945725]
  パラメータ効率の良いトランスフォーマーモデルであるSubformerを開発した。 機械翻訳、抽象的要約、および言語モデリングに関する実験は、サブフォーマーが大幅に少ないパラメータを使用してもトランスフォーマーを上回ることができることを示しています。
  論文  参考訳（メタデータ） (2021-01-01T13:53:22Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。