論文の概要: Adapt then Unlearn: Exploring Parameter Space Semantics for Unlearning in Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2309.14054v2
• Date: Wed, 12 Feb 2025 07:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:19.251463
• Title: Adapt then Unlearn: Exploring Parameter Space Semantics for Unlearning in Generative Adversarial Networks
• Title（参考訳）: Adapt then Unlearn:Generative Adversarial Networksにおける非学習のためのパラメータ空間セマンティクスの探索
• Authors: Piyush Tiwary, Atri Guha, Subhodip Panda, Prathosh A. P,
• Abstract要約: 本研究は,事前学習されたGAN(Generative Adversarial Network)から不要な特徴を含む出力の発生を防止することを目的とする。 提案手法は「Adapt-then-Unlearn」と呼ばれ、望ましくない特徴を学習すると同時に、生成したサンプルの品質も維持する。 我々の知識を最大限に活用するために、我々のアプローチは、高忠実なGANの領域内での未学習に対処する最初の方法である。
• 参考スコア（独自算出の注目度）: 5.107720313575234
• License:
• Abstract: Owing to the growing concerns about privacy and regulatory compliance, it is desirable to regulate the output of generative models. To that end, the objective of this work is to prevent the generation of outputs containing undesired features from a pre-trained Generative Adversarial Network (GAN) where the underlying training data set is inaccessible. Our approach is inspired by the observation that the parameter space of GANs exhibits meaningful directions that can be leveraged to suppress specific undesired features. However, such directions usually result in the degradation of the quality of generated samples. Our proposed two-stage method, known as 'Adapt-then-Unlearn,' excels at unlearning such undesirable features while also maintaining the quality of generated samples. In the initial stage, we adapt a pre-trained GAN on a set of negative samples (containing undesired features) provided by the user. Subsequently, we train the original pre-trained GAN using positive samples, along with a repulsion regularizer. This regularizer encourages the learned model parameters to move away from the parameters of the adapted model (first stage) while not degrading the generation quality. We provide theoretical insights into the proposed method. To the best of our knowledge, our approach stands as the first method addressing unlearning within the realm of high-fidelity GANs (such as StyleGAN). We validate the effectiveness of our method through comprehensive experiments, encompassing both class-level unlearning on the MNIST and AFHQ dataset and feature-level unlearning tasks on the CelebA-HQ dataset. Our code and implementation is available at: https://github.com/atriguha/Adapt_Unlearn.
• Abstract（参考訳）: プライバシや規制の遵守に関する懸念が高まっているため、生成モデルの出力を規制することが望ましい。 この研究の目的は、基礎となるトレーニングデータセットがアクセス不能なGAN(Generative Adversarial Network)から、望ましくない特徴を含むアウトプットの生成を防止することである。 我々のアプローチは、GANのパラメータ空間が特定の望ましくない特徴を抑えるために活用できる有意義な方向を示すという観察に着想を得たものである。 しかし、そのような方向は、通常、生成されたサンプルの品質を低下させる。 提案手法は「Adapt-then-Unlearn」と呼ばれ、望ましくない特徴を学習すると同時に、生成したサンプルの品質も維持する。 最初の段階では、ユーザが提供した負のサンプル(望ましくない特徴を含む)に事前学習したGANを適用する。 その後、正のサンプルと反発正則化器を用いて、元の事前訓練GANを訓練する。 この正規化器は、学習したモデルパラメーターを、生成品質を劣化させることなく、適応されたモデル(第1段階)のパラメーターから遠ざかるように促します。 提案手法に関する理論的知見を提供する。 我々の知識を最大限に活用するために、我々のアプローチは、高忠実なGAN(StyleGANなど)の領域における未学習に対処する最初の方法である。 我々は,MNISTデータセットとAFHQデータセットのクラスレベルのアンラーニングと,CelebA-HQデータセットのフィーチャーレベルのアンラーニングタスクの両方を含む総合的な実験を通じて,本手法の有効性を検証する。 私たちのコードと実装は、https://github.com/atriguha/Adapt_Unlearn.comで利用可能です。

関連論文リスト

• Upweighting Easy Samples in Fine-Tuning Mitigates Forgetting [15.251425165987987]
  下流タスクで事前訓練されたモデルを微調整すると、元の能力は劣化することが多い。 本稿では,事前学習したモデルの損失に基づく微調整データのサンプル重み付け手法を提案する。 我々は,言語と視覚の両方における手法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2025-02-05T00:49:59Z)
• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Generator Born from Classifier [66.56001246096002]
  データサンプルに頼ることなく、イメージジェネレータを再構築することを目指している。 本稿では,ネットワークパラメータの収束条件を満たすために,ジェネレータを訓練する新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-12-05T03:41:17Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。