論文の概要: Improving Adversarial Robustness by Contrastive Guided Diffusion Process

• arxiv url: http://arxiv.org/abs/2210.09643v1
• Date: Tue, 18 Oct 2022 07:20:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:55:39.308216
• Title: Improving Adversarial Robustness by Contrastive Guided Diffusion Process
• Title（参考訳）: コントラスト誘導拡散過程による対向ロバスト性の向上
• Authors: Yidong Ouyang, Liyan Xie, Guang Cheng
• Abstract要約: データ生成における拡散モデルを導くために,コントラスト誘導拡散プロセス(Contrastive-Guided Diffusion Process, DP)を提案する。 生成データ間の識別性の向上は, 対向的ロバスト性の向上に不可欠であることを示す。
• 参考スコア（独自算出の注目度）: 19.972628281993487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthetic data generation has become an emerging tool to help improve the adversarial robustness in classification tasks since robust learning requires a significantly larger amount of training samples compared with standard classification tasks. Among various deep generative models, the diffusion model has been shown to produce high-quality synthetic images and has achieved good performance in improving the adversarial robustness. However, diffusion-type methods are typically slow in data generation as compared with other generative models. Although different acceleration techniques have been proposed recently, it is also of great importance to study how to improve the sample efficiency of generated data for the downstream task. In this paper, we first analyze the optimality condition of synthetic distribution for achieving non-trivial robust accuracy. We show that enhancing the distinguishability among the generated data is critical for improving adversarial robustness. Thus, we propose the Contrastive-Guided Diffusion Process (Contrastive-DP), which adopts the contrastive loss to guide the diffusion model in data generation. We verify our theoretical results using simulations and demonstrate the good performance of Contrastive-DP on image datasets.
• Abstract（参考訳）: 標準的な分類タスクに比べてロバストな学習にはトレーニングサンプルの量が大幅に多いため、合成データ生成は分類タスクの敵対的ロバスト性を改善するための新たなツールになっている。 様々な深層生成モデルの中で,拡散モデルにより高品質な合成画像が生成され,対向性の向上に優れた性能を発揮することが示されている。 しかし、拡散型法は通常、他の生成モデルと比較してデータ生成が遅い。 近年, 異なる加速法が提案されているが, 下流タスクにおいて生成したデータのサンプル効率を改善する方法の研究も重要である。 本稿では,まず合成分布の最適性条件を解析し,非自明なロバストな精度を実現する。 生成データ間の識別性の向上は, 対向的ロバスト性の向上に不可欠であることを示す。 そこで本研究では,データ生成における拡散モデルを導出するコントラスト的拡散過程(Contrastive-Guided Diffusion Process, Contrastive-DP)を提案する。 シミュレーションを用いて理論的結果を検証し,画像データセット上でのコントラストDPの性能を示す。

関連論文リスト

• Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks [5.0243930429558885]
  本稿では,下流分類器の学習のための合成データの生成と利用を最適化するパイプラインである知識リサイクル(KR)を紹介する。 このパイプラインの核心は生成的知識蒸留(GKD)であり、情報の品質と有用性を大幅に向上させる技術が提案されている。 その結果、実データと合成データでトレーニングされたモデルと、実データでトレーニングされたモデルとの性能差が著しく低下した。
  論文  参考訳（メタデータ） (2024-07-22T10:31:07Z)
• TSynD: Targeted Synthetic Data Generation for Enhanced Medical Image Classification [0.011037620731410175]
  この研究は、生成モデルを誘導し、高い不確実性でデータを合成することを目的としている。 最適化プロセスによりオートエンコーダの特徴空間を変更する。 我々は,複数の分類タスクに対するテスト時間データ拡張と敵攻撃に対する堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-06-25T11:38:46Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Derm-T2IM: Harnessing Synthetic Skin Lesion Data via Stable Diffusion Models for Enhanced Skin Disease Classification using ViT and CNN [1.0499611180329804]
  我々は、最近の数発学習の成功を拡大して、拡張されたデータ変換技術を統合することを目指している。 最先端機械学習モデルのトレーニングパイプラインに新たに生成された合成データを組み込むことによる影響について検討する。
  論文  参考訳（メタデータ） (2024-01-10T13:46:03Z)
• The Missing U for Efficient Diffusion Models [3.712196074875643]
  拡散確率モデル(Diffusion Probabilistic Models)は、画像合成、ビデオ生成、分子設計などのタスクにおいて、記録破りのパフォーマンスをもたらす。 それらの能力にもかかわらず、その効率、特に逆過程では、収束速度が遅いことと計算コストが高いため、依然として課題である。 本研究では,連続力学系を利用した拡散モデルのための新しいデノナイジングネットワークの設計手法を提案する。
  論文  参考訳（メタデータ） (2023-10-31T00:12:14Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data [125.7135706352493]
  GAN(Generative Adversarial Network)は、高忠実度画像を合成するために、訓練に十分なデータを必要とする。 近年の研究では、差別者の過度な適合により、限られたデータでGANを訓練することは困難であることが示されている。 本稿では,APA (Adaptive Pseudo Augmentation) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T18:13:45Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
  本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。 提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。 単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
  論文  参考訳（メタデータ） (2020-01-13T14:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。