論文の概要: MUNBa: Machine Unlearning via Nash Bargaining

• arxiv url: http://arxiv.org/abs/2411.15537v1
• Date: Sat, 23 Nov 2024 12:18:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:21:11.971883
• Title: MUNBa: Machine Unlearning via Nash Bargaining
• Title（参考訳）: MUNBa: ナッシュバーゲティングによる機械学習
• Authors: Jing Wu, Mehrtash Harandi,
• Abstract要約: マシン・アンラーニング(MU)は、モデル全体の有用性を保ちながら、モデルから有害な振る舞いを選択的に消去することを目的としている。 マルチタスク学習問題として、MUは、特定の概念やデータを忘れたり、一般的なパフォーマンスを保つことに関連する目的のバランスをとる。 我々はMUを2人組の協調ゲームとして再編成し、そこでは、忘れるプレイヤーと保存プレイヤーが勾配提案を通じて貢献し、全体のゲインを最大化する。
• 参考スコア（独自算出の注目度）: 26.388179714663593
• License:
• Abstract: Machine Unlearning (MU) aims to selectively erase harmful behaviors from models while retaining the overall utility of the model. As a multi-task learning problem, MU involves balancing objectives related to forgetting specific concepts/data and preserving general performance. A naive integration of these forgetting and preserving objectives can lead to gradient conflicts, impeding MU algorithms from reaching optimal solutions. To address the gradient conflict issue, we reformulate MU as a two-player cooperative game, where the two players, namely, the forgetting player and the preservation player, contribute via their gradient proposals to maximize their overall gain. To this end, inspired by the Nash bargaining theory, we derive a closed-form solution to guide the model toward the Pareto front, effectively avoiding the gradient conflicts. Our formulation of MU guarantees an equilibrium solution, where any deviation from the final state would lead to a reduction in the overall objectives for both players, ensuring optimality in each objective. We evaluate our algorithm's effectiveness on a diverse set of tasks across image classification and image generation. Extensive experiments with ResNet, vision-language model CLIP, and text-to-image diffusion models demonstrate that our method outperforms state-of-the-art MU algorithms, achieving superior performance on several benchmarks. For example, in the challenging scenario of sample-wise forgetting, our algorithm approaches the gold standard retrain baseline. Our results also highlight improvements in forgetting precision, preservation of generalization, and robustness against adversarial attacks.
• Abstract（参考訳）: マシン・アンラーニング(MU)は、モデル全体の有用性を保ちながら、モデルから有害な振る舞いを選択的に消去することを目的としている。 マルチタスク学習問題として、MUは、特定の概念やデータを忘れたり、一般的なパフォーマンスを保つことに関連する目的のバランスをとる。 これらの忘れと保存の目的の素直な統合は、MUアルゴリズムが最適解に到達するのを妨げ、勾配の衝突を引き起こす可能性がある。 グラデーション・コンフリクトの問題に対処するため、MUは2人のプレイヤー、すなわち忘れたプレイヤーと保存プレイヤーがグラデーション・プロポーザルを通じて貢献し、全体的なゲインを最大化する2人のプレイヤーの協調ゲームとして再構成する。 この目的のために、ナッシュ・バーゲイン理論に触発されて、モデルがパレートフロントへ誘導する閉形式解が導出され、勾配の衝突を効果的に回避する。 我々のMUの定式化は、最終状態からの偏差が両方のプレイヤーの全体的な目標を減少させ、各目的の最適性を確保するための平衡解を保証する。 我々は,画像分類と画像生成にまたがる多様なタスクに対して,アルゴリズムの有効性を評価する。 ResNet,視覚言語モデルCLIP,テキスト・ツー・イメージ拡散モデルによる大規模な実験により,本手法が最先端のMUアルゴリズムより優れ,複数のベンチマークにおいて優れた性能を示した。 例えば、サンプルを忘れる難しいシナリオでは、我々のアルゴリズムはゴールドスタンダードのリトレインベースラインに近づきます。 また, 精度の低下, 一般化の保存, 敵攻撃に対する堅牢性も改善した。

関連論文リスト

• EnsIR: An Ensemble Algorithm for Image Restoration via Gaussian Mixture Models [70.60381055741391]
  画像復元の課題は、説明された問題に関連し、単一のモデル予測と地道のずれをもたらす。 アンサンブル学習は、複数のベースモデルの予測を組み合わせることで、これらの偏差に対処することを目的としている。 我々は予測候補のアンサンブル重みを推定するために予測(EM)に基づくアルゴリズムを用いる。 我々のアルゴリズムは、モデルに依存しない訓練不要であり、様々なトレーニング済み画像復元モデルのシームレスな統合と強化を可能にする。
  論文  参考訳（メタデータ） (2024-10-30T12:16:35Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Rewarded soups: towards Pareto-optimal alignment by interpolating weights fine-tuned on diverse rewards [101.7246658985579]
  ファンデーションモデルは、最初は大量の教師なしデータセットで事前トレーニングされ、次にラベル付きデータで微調整される。 多様な報酬の不均一性を多政学的戦略に従って受け入れることを提案する。 我々は,テキスト・ツー・テキスト(要約,Q&A,補助アシスタント,レビュー),テキスト・イメージ(画像キャプション,テキスト・ツー・イメージ生成,視覚的グラウンド,VQA)タスク,制御(移動)タスクに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2023-06-07T14:58:15Z)
• Three-Way Trade-Off in Multi-Objective Learning: Optimization, Generalization and Conflict-Avoidance [47.42067405054353]
  MOL(Multi-objective Learning)は、機械学習の新興問題においてしばしば発生する問題である。 MOLにおける重要な課題の1つは、反復最適化プロセスにおける異なる目的間の潜在的な衝突である。 近年,MGDAやその変種など,MOLの動的重み付けアルゴリズムが開発されている。
  論文  参考訳（メタデータ） (2023-05-31T17:31:56Z)
• Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity [2.4278445972594525]
  多層パーセプトロンは、ある種の単純な算術的なタスクを学ぶのに苦労する。 特殊神経NMU(sNMU)は可逆性を適用するために提案され、そのようなオプティマの回避を奨励する。
  論文  参考訳（メタデータ） (2022-11-10T14:56:37Z)
• Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance [53.49803579981569]
  各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。 本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-24T22:16:53Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Momentum-based Gradient Methods in Multi-Objective Recommendation [30.894950420437926]
  単目的問題の解法として,多目的モデルに依存しないAdamize法を提案する。 我々は2つの多目的レコメンデータシステムと3つの異なる目的の組み合わせに対して、多目的Adamizeの利点を評価する。
  論文  参考訳（メタデータ） (2020-09-10T07:12:21Z)
• Incorporating Reinforced Adversarial Learning in Autoregressive Image Generation [39.55651747758391]
  本稿では,自己回帰モデルに対するポリシー勾配最適化に基づく強化適応学習(RAL)を提案する。 RALはまた、VQ-VAEフレームワークの異なるモジュール間のコラボレーションを強化する。 提案手法は,64$times$64画像解像度でCelebaの最先端結果を実現する。
  論文  参考訳（メタデータ） (2020-07-20T08:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。