論文の概要: Fine-Tuning Text-To-Image Diffusion Models for Class-Wise Spurious Feature Generation

• arxiv url: http://arxiv.org/abs/2402.08200v1
• Date: Tue, 13 Feb 2024 03:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 16:44:27.112321
• Title: Fine-Tuning Text-To-Image Diffusion Models for Class-Wise Spurious Feature Generation
• Title（参考訳）: クラスワイズスパージャ特徴生成のための微調整テキスト・画像拡散モデル
• Authors: AprilPyone MaungMaung, Huy H. Nguyen, Hitoshi Kiya, Isao Echizen
• Abstract要約: 本稿では,大規模テキスト・画像拡散モデルを利用して,突発的な特徴を生成する手法を提案する。 実験結果から,異なる分類器間で一貫した鮮明な画像を生成することができることがわかった。
• 参考スコア（独自算出の注目度）: 14.016699770436961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method for generating spurious features by leveraging large-scale text-to-image diffusion models. Although the previous work detects spurious features in a large-scale dataset like ImageNet and introduces Spurious ImageNet, we found that not all spurious images are spurious across different classifiers. Although spurious images help measure the reliance of a classifier, filtering many images from the Internet to find more spurious features is time-consuming. To this end, we utilize an existing approach of personalizing large-scale text-to-image diffusion models with available discovered spurious images and propose a new spurious feature similarity loss based on neural features of an adversarially robust model. Precisely, we fine-tune Stable Diffusion with several reference images from Spurious ImageNet with a modified objective incorporating the proposed spurious-feature similarity loss. Experiment results show that our method can generate spurious images that are consistently spurious across different classifiers. Moreover, the generated spurious images are visually similar to reference images from Spurious ImageNet.
• Abstract（参考訳）: 本稿では,大規模テキストから画像への拡散モデルを用いてスプリアス特徴を生成する手法を提案する。 以前の研究では、imagenetのような大規模データセットのスプリアス機能を検出し、スプリアスイメージネットを導入したが、すべてのスプリアスイメージが異なる分類器でスプリアスであるとは限らない。 スプリアス画像は分類器の依存度を測定するのに役立つが、よりスプリアスな特徴を見つけるために多くの画像をインターネットからフィルタリングすることは時間がかかる。 そこで本研究では,大規模テキスト・画像拡散モデルのパーソナライズを行う既存手法を用いて,対向的ロバストモデルのニューラル特徴に基づく新たなスプリアス特徴類似性損失を提案する。 正確には、Spurious ImageNetからのいくつかの参照画像と、提案したスプリアス-フィーチャー類似性損失を組み込んだ修正目的とを微調整する。 実験の結果,異なる分類器で常に散在する散発的画像を生成することができた。 さらに、生成されたスプリアス画像は、Spurious ImageNetの参照画像と視覚的に類似している。

関連論文リスト

• Time Step Generating: A Universal Synthesized Deepfake Image Detector [0.4488895231267077]
  汎用合成画像検出器 Time Step Generating (TSG) を提案する。 TSGは、事前訓練されたモデルの再構築能力、特定のデータセット、サンプリングアルゴリズムに依存していない。 我々は,提案したTSGを大規模GenImageベンチマークで検証し,精度と一般化性の両方において大幅な改善を実現した。
  論文  参考訳（メタデータ） (2024-11-17T09:39:50Z)
• ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object [78.58860252442045]
  我々は、深層モデルの堅牢性をベンチマークするハードイメージのためのデータソースとして、生成モデルを紹介した。 このベンチマークを ImageNet-D と呼ぶ以前の作業よりも、背景、テクスチャ、材料が多様化したイメージを生成することができます。 我々の研究は、拡散モデルが視覚モデルをテストするのに効果的な情報源となることを示唆している。
  論文  参考訳（メタデータ） (2024-03-27T17:23:39Z)
• Semantic Generative Augmentations for Few-Shot Counting [0.0]
  合成データは,クラス非依存のカウントにどのように役立つかを検討する。 本稿では,安定拡散の二重条件付けをプロンプトと密度マップの両方で行うことを提案する。 実験により, 多様な生成戦略により, 2つの最近の数理モデルと数理モデルとのカウント精度が大幅に向上することが確認された。
  論文  参考訳（メタデータ） (2023-10-26T11:42:48Z)
• Diffusion Hyperfeatures: Searching Through Time and Space for Semantic Correspondence [88.00004819064672]
  Diffusion Hyperfeaturesは、マルチスケールおよびマルチタイムステップの機能マップをピクセル単位の機能記述子に統合するためのフレームワークである。 提案手法は,SPair-71k実画像ベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:58:05Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
  大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。 分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。 我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
  論文  参考訳（メタデータ） (2023-03-28T17:59:56Z)
• DIRE for Diffusion-Generated Image Detection [128.95822613047298]
  拡散再構成誤り(DIRE)という新しい表現を提案する。 DIREは、予め訓練された拡散モデルにより、入力画像とその再構成画像間の誤差を測定する。 DIREは生成されたイメージと実際のイメージを区別するためのブリッジとして機能する、というヒントを提供する。
  論文  参考訳（メタデータ） (2023-03-16T13:15:03Z)
• Detecting Images Generated by Diffusers [12.986394431694206]
  MSCOCOとWikimediaのデータセットのキャプションから生成された画像は、安定拡散とGLIDEの2つの最先端モデルを用いて検討する。 実験の結果, 単純なマルチ層パーセプトロンを用いて生成した画像を検出することができることがわかった。 関連したテキスト情報を画像に組み込むと、検出結果が大幅に改善されることは滅多にない。
  論文  参考訳（メタデータ） (2023-03-09T14:14:29Z)
• Uncovering the Disentanglement Capability in Text-to-Image Diffusion Models [60.63556257324894]
  画像生成モデルの重要な特性は、異なる属性をアンタングルする能力である。 本稿では,2つのテキスト埋め込みの混合重みをスタイルマッチングとコンテンツ保存に最適化した,シンプルで軽量な画像編集アルゴリズムを提案する。 実験により,提案手法は拡散モデルに基づく画像編集アルゴリズムよりも優れた性能で,幅広い属性を修正可能であることが示された。
  論文  参考訳（メタデータ） (2022-12-16T19:58:52Z)
• Spurious Features Everywhere -- Large-Scale Detection of Harmful Spurious Features in ImageNet [36.48282338829549]
  本稿では,ImageNetのような大規模データセットにおいて,突発的特徴を体系的に識別するフレームワークを開発する。 我々は,クラス単独で有害な刺激的特徴の存在が,そのクラスの予測を誘発するのに十分であることを示すことによって,その結果を検証する。 我々はSpuFixを単純な緩和法として導入し、これまで同定された有害なスプリアス機能に対するImageNet分類器の依存を減らす。
  論文  参考訳（メタデータ） (2022-12-09T14:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。