論文の概要: CPSample: Classifier Protected Sampling for Guarding Training Data During Diffusion

• arxiv url: http://arxiv.org/abs/2409.07025v1
• Date: Wed, 11 Sep 2024 05:42:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 15:36:35.534555
• Title: CPSample: Classifier Protected Sampling for Guarding Training Data During Diffusion
• Title（参考訳）: CPSample: 拡散時のトレーニングデータ保護のための分類器保護サンプリング
• Authors: Joshua Kazdan, Hao Sun, Jiaqi Han, Felix Petersen, Stefano Ermon,
• Abstract要約: 拡散モデルはトレーニングデータを正確に再現する傾向がある。 CPSampleは,画像品質を保ちながら,トレーニングデータの複製を防止するためにサンプリングプロセスを変更する手法である。 CPSample は CIFAR-10 と CelebA-64 でそれぞれ 4.97 と 2.97 の FID スコアを達成している。
• 参考スコア（独自算出の注目度）: 58.64822817224639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have a tendency to exactly replicate their training data, especially when trained on small datasets. Most prior work has sought to mitigate this problem by imposing differential privacy constraints or masking parts of the training data, resulting in a notable substantial decrease in image quality. We present CPSample, a method that modifies the sampling process to prevent training data replication while preserving image quality. CPSample utilizes a classifier that is trained to overfit on random binary labels attached to the training data. CPSample then uses classifier guidance to steer the generation process away from the set of points that can be classified with high certainty, a set that includes the training data. CPSample achieves FID scores of 4.97 and 2.97 on CIFAR-10 and CelebA-64, respectively, without producing exact replicates of the training data. Unlike prior methods intended to guard the training images, CPSample only requires training a classifier rather than retraining a diffusion model, which is computationally cheaper. Moreover, our technique provides diffusion models with greater robustness against membership inference attacks, wherein an adversary attempts to discern which images were in the model's training dataset. We show that CPSample behaves like a built-in rejection sampler, and we demonstrate its capabilities to prevent mode collapse in Stable Diffusion.
• Abstract（参考訳）: 拡散モデルはトレーニングデータを正確に再現する傾向がある。 これまでのほとんどの研究は、差分プライバシー制約を課したり、トレーニングデータの一部を隠蔽することでこの問題を緩和しようとしており、画像の品質は著しく低下している。 CPSampleは,画像品質を保ちながら,トレーニングデータの複製を防止するためにサンプリングプロセスを変更する手法である。 CPSampleはトレーニングデータに付加されたランダムなバイナリラベルに過度に適合するように訓練された分類器を利用する。 CPSampleは次に分類器のガイダンスを使用して、トレーニングデータを含む高い確実性で分類できる点の集合から生成プロセスを分離する。 CPSample は CIFAR-10 と CelebA-64 でそれぞれ 4.97 と 2.97 の FID スコアを達成している。 トレーニングイメージを保護するために意図された従来の方法とは異なり、CPSampleは拡散モデルを再訓練するよりも分類器を訓練する必要がある。 さらに,本手法は,モデルのトレーニングデータセットにどの画像が存在するのかを,相手が識別しようとするような,メンバシップ推論攻撃に対してより堅牢な拡散モデルを提供する。 我々は,CPSampleが組込みリジェクションサンプリング器のように振る舞うことを示し,安定拡散におけるモード崩壊を防止する能力を示す。

関連論文リスト

• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• FSL-Rectifier: Rectify Outliers in Few-Shot Learning via Test-Time Augmentation [7.477118370563593]
  FSL(Few-shot-learning)は通常、トレーニング中に目に見えないクラスに属する画像(クエリ)を識別するモデルを必要とする。 生成画像コンバインダを用いて、原サンプルと適切な列車クラスサンプルを組み合わせることで、追加のテストクラスサンプルを生成する。 我々は、平均化によってより典型的な表現をもたらす拡張子を介して平均化された特徴を得る。
  論文  参考訳（メタデータ） (2024-02-28T12:37:30Z)
• The Journey, Not the Destination: How Data Guides Diffusion Models [75.19694584942623]
  大規模なデータセットでトレーニングされた拡散モデルは、顕著な品質と多様性のフォトリアリスティックなイメージを合成することができる。 i)拡散モデルの文脈でデータ属性の形式的概念を提供し、(ii)そのような属性を反実的に検証することを可能にする枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-11T08:39:43Z)
• Semi-Supervised Learning for hyperspectral images by non parametrically predicting view assignment [25.198550162904713]
  ハイパースペクトル画像(HSI)分類は、画像中のスペクトル情報が高いため、現在、多くの勢いを増している。 近年,ラベル付きサンプルを最小限に抑えたディープラーニングモデルを効果的に訓練するために,ラベル付きサンプルも自己教師付きおよび半教師付き設定で活用されている。 本研究では,半教師付き学習の概念を利用して,モデルの識別的自己教師型事前学習を支援する。
  論文  参考訳（メタデータ） (2023-06-19T14:13:56Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers [21.741026088202126]
  そこで本研究では,いくつかのトレーニングサンプルを用いて,事前学習したモデルのロバスト性を証明する新しい手法を提案する。 提案手法は,各トレーニングサンプルに対応するクラス境界および補間標本を生成する。 複数のベンチマークデータセットのベースラインに対する大幅な改善と、課題のあるブラックボックス設定の下でも同様のパフォーマンスを報告しています。
  論文  参考訳（メタデータ） (2022-10-17T10:41:18Z)
• Forgetting Data from Pre-trained GANs [28.326418377665345]
  特定の種類のサンプルを忘れないように、トレーニング後にモデルを後編集する方法について検討する。 我々は,GANに対して,忘れるべきサンプルの表現方法が異なる3つの異なるアルゴリズムを提供する。 我々のアルゴリズムは、完全再トレーニングのコストのごく一部で、高品質を維持しながらデータを忘れることができる。
  論文  参考訳（メタデータ） (2022-06-29T03:46:16Z)
• An analysis of over-sampling labeled data in semi-supervised learning with FixMatch [66.34968300128631]
  ほとんどの半教師付き学習手法は、ミニバッチを訓練する際にラベルをオーバーサンプルする。 本稿では,この実践が学習と方法を改善するかどうかを考察する。 ラベル付けの有無に関わらず、トレーニングデータから各ミニバッチを均一にサンプリングする別の設定と比較する。
  論文  参考訳（メタデータ） (2022-01-03T12:22:26Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。