論文の概要: On the Robustness of Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2306.08257v1
• Date: Wed, 14 Jun 2023 05:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 20:14:16.911579
• Title: On the Robustness of Latent Diffusion Models
• Title（参考訳）: 潜在拡散モデルのロバスト性について
• Authors: Jianping Zhang, Zhuoer Xu, Shiwen Cui, Changhua Meng, Weibin Wu, Michael R. Lyu
• Abstract要約: 遅延拡散モデルは、画像合成や画像編集など、様々な生成タスクにおいて最先端のパフォーマンスを達成する。 まず, 潜伏拡散モデル内の成分が白色箱の頑健性に及ぼす影響について検討した。 我々は,ホワイトボックスのシナリオに加えて,移動攻撃による潜伏拡散モデルのブラックボックスロバスト性を評価する。
• 参考スコア（独自算出の注目度）: 28.079024443425205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent diffusion models achieve state-of-the-art performance on a variety of generative tasks, such as image synthesis and image editing. However, the robustness of latent diffusion models is not well studied. Previous works only focus on the adversarial attacks against the encoder or the output image under white-box settings, regardless of the denoising process. Therefore, in this paper, we aim to analyze the robustness of latent diffusion models more thoroughly. We first study the influence of the components inside latent diffusion models on their white-box robustness. In addition to white-box scenarios, we evaluate the black-box robustness of latent diffusion models via transfer attacks, where we consider both prompt-transfer and model-transfer settings and possible defense mechanisms. However, all these explorations need a comprehensive benchmark dataset, which is missing in the literature. Therefore, to facilitate the research of the robustness of latent diffusion models, we propose two automatic dataset construction pipelines for two kinds of image editing models and release the whole dataset. Our code and dataset are available at \url{https://github.com/jpzhang1810/LDM-Robustness}.
• Abstract（参考訳）: 潜在拡散モデルは、画像合成や画像編集など、様々な生成タスクで最先端のパフォーマンスを達成する。 しかし, 潜在拡散モデルのロバスト性は十分に研究されていない。 以前の作業は、デノーミングプロセスに関係なく、エンコーダやホワイトボックス設定下での出力イメージに対する敵攻撃のみに焦点を当てていた。 そこで本研究では,潜伏拡散モデルのロバスト性をより詳細に解析することを目的とする。 まず,潜伏拡散モデル内の成分が白色箱の堅牢性に及ぼす影響について検討した。 ホワイトボックスのシナリオに加えて、転送攻撃による潜伏拡散モデルのブラックボックスロバスト性を評価し、プロンプト・トランスファーとモデル・トランスファーの両方の設定と防御機構について検討する。 しかし、これらの調査には包括的なベンチマークデータセットが必要であり、文献に欠けている。 そこで, 潜在拡散モデルのロバスト性の研究を容易にするために, 2種類の画像編集モデルのための2つの自動データセット構築パイプラインを提案し, データセット全体を解放する。 コードとデータセットは \url{https://github.com/jpzhang1810/LDM-Robustness} で公開されています。

関連論文リスト

• Diffusion Models in Low-Level Vision: A Survey [82.77962165415153]
  拡散モデルに基づくソリューションは、優れた品質と多様性のサンプルを作成する能力で広く称賛されている。 本稿では,3つの一般化拡散モデリングフレームワークを提案し,それらと他の深層生成モデルとの相関関係について検討する。 医療、リモートセンシング、ビデオシナリオなど、他のタスクに適用された拡張拡散モデルについて要約する。
  論文  参考訳（メタデータ） (2024-06-17T01:49:27Z)
• Multi-View Unsupervised Image Generation with Cross Attention Guidance [23.07929124170851]
  本稿では,単一カテゴリデータセット上でのポーズ条件拡散モデルの教師なし学習のための新しいパイプラインを提案する。 特定のオブジェクト部分の可視性と位置を比較することで、データセットをクラスタリングすることで、オブジェクトのポーズを識別する。 我々のモデルであるMIRAGEは、実画像における新しいビュー合成における先行研究を超越している。
  論文  参考訳（メタデータ） (2023-12-07T14:55:13Z)
• Stable Diffusion for Data Augmentation in COCO and Weed Datasets [5.81198182644659]
  本研究は, 安定拡散モデルの有効性を評価するために, 7つの共通カテゴリーと3つの広く分布する雑草種を利用した。 安定拡散に基づく3つの手法(画像から画像への変換,ドリームブース,コントロールネット)を,焦点の異なる画像生成に利用した。 そして、これらの合成画像に基づいて分類・検出タスクを行い、その性能を原画像で訓練されたモデルと比較した。
  論文  参考訳（メタデータ） (2023-12-07T02:23:32Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Enhanced Controllability of Diffusion Models via Feature Disentanglement and Realism-Enhanced Sampling Methods [27.014858633903867]
  拡散モデル(FDiff)の特徴分散のためのトレーニングフレームワークを提案する。 本稿では,拡散モデルの現実性を高め,制御性を高める2つのサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T07:43:00Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。