論文の概要: Adapt then Unlearn: Exploiting Parameter Space Semantics for Unlearning in Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2309.14054v1
• Date: Mon, 25 Sep 2023 11:36:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 16:03:03.796912
• Title: Adapt then Unlearn: Exploiting Parameter Space Semantics for Unlearning in Generative Adversarial Networks
• Title（参考訳）: adapt then unlearn: 生成型adversarial networkにおけるunlearningのためのパラメータ空間セマンティクスの利用
• Authors: Piyush Tiwary, Atri Guha, Subhodip Panda, Prathosh A.P
• Abstract要約: GANのパラメータ空間は、特定の望ましくない特徴を抑えるために活用できる有意義な方向を示す。 提案手法は「Adapt-then-Unlearn」と呼ばれ、望ましくない特徴を学習すると同時に、生成したサンプルの品質も維持する。 本手法は,初期段階において,ユーザが提供した負のサンプルを用いて事前学習したGANを適応させ,その後段階において,望ましくない特徴を学習することに集中する。
• 参考スコア（独自算出の注目度）: 5.479797073162603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increased attention to regulating the outputs of deep generative models, driven by growing concerns about privacy and regulatory compliance, has highlighted the need for effective control over these models. This necessity arises from instances where generative models produce outputs containing undesirable, offensive, or potentially harmful content. To tackle this challenge, the concept of machine unlearning has emerged, aiming to forget specific learned information or to erase the influence of undesired data subsets from a trained model. The objective of this work is to prevent the generation of outputs containing undesired features from a pre-trained GAN where the underlying training data set is inaccessible. Our approach is inspired by a crucial observation: the parameter space of GANs exhibits meaningful directions that can be leveraged to suppress specific undesired features. However, such directions usually result in the degradation of the quality of generated samples. Our proposed method, known as 'Adapt-then-Unlearn,' excels at unlearning such undesirable features while also maintaining the quality of generated samples. This method unfolds in two stages: in the initial stage, we adapt the pre-trained GAN using negative samples provided by the user, while in the subsequent stage, we focus on unlearning the undesired feature. During the latter phase, we train the pre-trained GAN using positive samples, incorporating a repulsion regularizer. This regularizer encourages the model's parameters to be away from the parameters associated with the adapted model from the first stage while also maintaining the quality of generated samples. To the best of our knowledge, our approach stands as first method addressing unlearning in GANs. We validate the effectiveness of our method through comprehensive experiments.
• Abstract（参考訳）: プライバシーや規制の遵守に関する懸念が高まる中、深層生成モデルのアウトプットの規制への注意が高まり、これらのモデルに対する効果的な制御の必要性が強調されている。 この必要性は、生成モデルが望ましくない、攻撃的、潜在的に有害な内容を含む出力を生成する事例から生じる。 この課題に取り組むために、特定の学習情報を忘れたり、訓練されたモデルから望ましくないデータサブセットの影響を消すことを目的とした、機械学習の概念が登場した。 本研究の目的は、基礎となるトレーニングデータセットがアクセスできない事前学習されたGANから、望ましくない特徴を含む出力の発生を防止することである。 GANのパラメータ空間は、特定の望ましくない特徴を抑えるために活用できる有意義な方向を示す。 しかし、そのような方向は通常、生成されたサンプルの品質が劣化する。 提案手法は,「adapt-then-unlearn」として知られ,望ましくない特徴を学習すると同時に,生成したサンプルの品質を維持する。 本手法は,初期段階において,ユーザが提供した負のサンプルを用いて事前学習したGANを適応させ,その後段階において,望ましくない特徴を学習することに集中する。 後者の段階では、正サンプルを用いて事前訓練したGANをトレーニングし、反発正則化器を組み込んだ。 この正規化器は、モデルパラメータを適応モデルに関連するパラメータから第一段階から遠ざけ、生成したサンプルの品質を維持します。 私たちの知る限りでは、私たちのアプローチはganで未学習を扱う最初の方法です。 本手法の有効性を総合実験により検証した。

関連論文リスト

• Leveraging Latent Diffusion Models for Training-Free In-Distribution Data Augmentation for Surface Defect Detection [9.784793380119806]
  データ拡張のためのトレーニング不要な拡散型In-Distribution Anomaly GenerationパイプラインであるDIAGを紹介する。 従来の画像生成技術とは異なり、我々は、ドメインの専門家がモデルにマルチモーダルガイダンスを提供する、Human-in-the-loopパイプラインを実装している。 我々は、挑戦的なKSDD2データセットに対する最先端データ拡張アプローチに関して、DIAGの有効性と汎用性を実証する。
  論文  参考訳（メタデータ） (2024-07-04T14:28:52Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Generator Born from Classifier [66.56001246096002]
  データサンプルに頼ることなく、イメージジェネレータを再構築することを目指している。 本稿では,ネットワークパラメータの収束条件を満たすために,ジェネレータを訓練する新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-12-05T03:41:17Z)
• One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
  ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。 本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。 FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Bridging the Gap: Addressing Discrepancies in Diffusion Model Training for Classifier-Free Guidance [1.6804613362826175]
  拡散モデルは、生成モデルにおいて重要な進歩として現れている。 本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。 トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
  論文  参考訳（メタデータ） (2023-11-02T02:03:12Z)
• InitialGAN: A Language GAN with Completely Random Initialization [7.642043456676739]
  GAN(Generative Adversarial Networks)は、悪名高い露出バイアス問題に取り組む可能性がある。 既存の言語 GAN では、REINFORCE や連続緩和といった推定器を使って単語の確率をモデル化している。 本研究では,これらの問題に対処する手法として,ドロップアウトサンプリングと完全正規化LSTMの2つを提案する。
  論文  参考訳（メタデータ） (2022-08-04T08:56:04Z)
• Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
  我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
  論文  参考訳（メタデータ） (2021-04-05T03:58:30Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。