論文の概要: DualOptim: Enhancing Efficacy and Stability in Machine Unlearning with Dual Optimizers

• arxiv url: http://arxiv.org/abs/2504.15827v1
• Date: Tue, 22 Apr 2025 12:18:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 20:37:50.624002
• Title: DualOptim: Enhancing Efficacy and Stability in Machine Unlearning with Dual Optimizers
• Title（参考訳）: DualOptim: デュアル最適化を用いた機械学習における効率性と安定性の向上
• Authors: Xuyang Zhong, Haochen Luo, Chen Liu,
• Abstract要約: 適応学習率と非結合運動量係数を組み込んだDualOptimを提案する。 画像分類,画像生成,大規模言語モデルなど,様々なタスクにおいて,DualOptimは有効性と安定性を著しく向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 3.4449853955817753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing machine unlearning (MU) approaches exhibit significant sensitivity to hyperparameters, requiring meticulous tuning that limits practical deployment. In this work, we first empirically demonstrate the instability and suboptimal performance of existing popular MU methods when deployed in different scenarios. To address this issue, we propose Dual Optimizer (DualOptim), which incorporates adaptive learning rate and decoupled momentum factors. Empirical and theoretical evidence demonstrates that DualOptim contributes to effective and stable unlearning. Through extensive experiments, we show that DualOptim can significantly boost MU efficacy and stability across diverse tasks, including image classification, image generation, and large language models, making it a versatile approach to empower existing MU algorithms.
• Abstract（参考訳）: 既存のマシン・アンラーニング(MU)アプローチはハイパーパラメータに対して大きな感度を示し、実践的なデプロイメントを制限する巧妙なチューニングを必要とする。 本研究は,既存のMUメソッドが異なるシナリオに展開する際の不安定性と準最適性能を実証的に実証するものである。 この問題に対処するため、適応学習率と非結合運動量係数を組み込んだデュアルオプティマイザ(DualOptim)を提案する。 実証的および理論的証拠は、DualOptimが効果的で安定したアンラーニングに寄与していることを示している。 広範にわたる実験により、DualOptimは画像分類、画像生成、大規模言語モデルを含む様々なタスクにおけるMUの有効性と安定性を著しく向上し、既存のMUアルゴリズムの強化に汎用的なアプローチであることを示す。

関連論文リスト

• The Power of the Pareto Front: Balancing Uncertain Rewards for Adaptive Experimentation in scanning probe microscopy [3.828556515394516]
  我々はMOBOが走査型プローブ顕微鏡(SPM)イメージングパラメーターを最適化し、測定品質と効率を向上できることを示す。 MOBOはヒューマン・イン・ザ・ループによる意思決定のための自然なフレームワークを提供しており、研究者はドメインの専門知識に基づいて実験的なトレードオフを微調整できる。
  論文  参考訳（メタデータ） (2025-04-09T01:59:31Z)
• Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
  Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。 最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。 本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-12T17:41:23Z)
• Visual Cue Enhancement and Dual Low-Rank Adaptation for Efficient Visual Instruction Fine-Tuning [102.18178065928426]
  VCE(Vision Cue Enhancement)とDual-LoRA(Dual-LoRA)の2つの新しいアプローチによる効率的な微調整フレームワークを提案する。 VCEは、マルチレベルビジュアルキューを統合することで、視覚プロジェクタを強化し、きめ細かい視覚的特徴をキャプチャするモデルの能力を向上させる。 Dual-LoRAは、命令チューニングのための2つの低ランク構造を導入し、スキルとタスク空間に学習を分離し、様々なタスクにまたがって正確な制御と効率的な適応を可能にする。
  論文  参考訳（メタデータ） (2024-11-19T11:03:09Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning [90.75075886543404]
  MLLM(Multimodal Large Language Models)は、幅広い領域にわたる顕著なパフォーマンスを示す。 本研究では,MLLMの効率的な命令チューニングのための新しいMultimodal Prompt Tuning (M$2$PT) 手法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T01:40:24Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Leveraging Trust for Joint Multi-Objective and Multi-Fidelity Optimization [0.0]
  本稿では,ベイズ的多目的・多忠実度最適化(MOMF)に対する新しいアプローチについて検討する。 複数目的とデータソースの同時最適化を支援するために,信頼度基準の革新的利用を提案する。 本手法はプラズマ物理学や流体力学などの分野におけるシミュレーション問題の解法に適用可能である。
  論文  参考訳（メタデータ） (2021-12-27T20:55:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。