論文の概要: Fine-Tuning Text-To-Image Diffusion Models for Class-Wise Spurious
Feature Generation
- arxiv url: http://arxiv.org/abs/2402.08200v1
- Date: Tue, 13 Feb 2024 03:55:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 16:44:27.112321
- Title: Fine-Tuning Text-To-Image Diffusion Models for Class-Wise Spurious
Feature Generation
- Title(参考訳): クラスワイズスパージャ特徴生成のための微調整テキスト・画像拡散モデル
- Authors: AprilPyone MaungMaung, Huy H. Nguyen, Hitoshi Kiya, Isao Echizen
- Abstract要約: 本稿では,大規模テキスト・画像拡散モデルを利用して,突発的な特徴を生成する手法を提案する。
実験結果から,異なる分類器間で一貫した鮮明な画像を生成することができることがわかった。
- 参考スコア(独自算出の注目度): 14.016699770436961
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a method for generating spurious features by leveraging
large-scale text-to-image diffusion models. Although the previous work detects
spurious features in a large-scale dataset like ImageNet and introduces
Spurious ImageNet, we found that not all spurious images are spurious across
different classifiers. Although spurious images help measure the reliance of a
classifier, filtering many images from the Internet to find more spurious
features is time-consuming. To this end, we utilize an existing approach of
personalizing large-scale text-to-image diffusion models with available
discovered spurious images and propose a new spurious feature similarity loss
based on neural features of an adversarially robust model. Precisely, we
fine-tune Stable Diffusion with several reference images from Spurious ImageNet
with a modified objective incorporating the proposed spurious-feature
similarity loss. Experiment results show that our method can generate spurious
images that are consistently spurious across different classifiers. Moreover,
the generated spurious images are visually similar to reference images from
Spurious ImageNet.
- Abstract(参考訳): 本稿では,大規模テキストから画像への拡散モデルを用いてスプリアス特徴を生成する手法を提案する。
以前の研究では、imagenetのような大規模データセットのスプリアス機能を検出し、スプリアスイメージネットを導入したが、すべてのスプリアスイメージが異なる分類器でスプリアスであるとは限らない。
スプリアス画像は分類器の依存度を測定するのに役立つが、よりスプリアスな特徴を見つけるために多くの画像をインターネットからフィルタリングすることは時間がかかる。
そこで本研究では,大規模テキスト・画像拡散モデルのパーソナライズを行う既存手法を用いて,対向的ロバストモデルのニューラル特徴に基づく新たなスプリアス特徴類似性損失を提案する。
正確には、Spurious ImageNetからのいくつかの参照画像と、提案したスプリアス-フィーチャー類似性損失を組み込んだ修正目的とを微調整する。
実験の結果,異なる分類器で常に散在する散発的画像を生成することができた。
さらに、生成されたスプリアス画像は、Spurious ImageNetの参照画像と視覚的に類似している。
関連論文リスト
- DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。
画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。
MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-12-11T18:38:28Z) - Semantic Generative Augmentations for Few-Shot Counting [0.0]
合成データは,クラス非依存のカウントにどのように役立つかを検討する。
本稿では,安定拡散の二重条件付けをプロンプトと密度マップの両方で行うことを提案する。
実験により, 多様な生成戦略により, 2つの最近の数理モデルと数理モデルとのカウント精度が大幅に向上することが確認された。
論文 参考訳(メタデータ) (2023-10-26T11:42:48Z) - Diffusion Hyperfeatures: Searching Through Time and Space for Semantic
Correspondence [126.08752458388206]
Diffusion Hyperfeaturesは、マルチスケールおよびマルチタイムステップの機能マップをピクセル単位の機能記述子に統合するためのフレームワークである。
提案手法は,SPair-71k実画像ベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-23T17:58:05Z) - Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。
分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。
我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
論文 参考訳(メタデータ) (2023-03-28T17:59:56Z) - DIRE for Diffusion-Generated Image Detection [128.95822613047298]
拡散再構成誤り(DIRE)という新しい表現を提案する。
DIREは、予め訓練された拡散モデルにより、入力画像とその再構成画像間の誤差を測定する。
DIREは生成されたイメージと実際のイメージを区別するためのブリッジとして機能する、というヒントを提供する。
論文 参考訳(メタデータ) (2023-03-16T13:15:03Z) - Detecting Images Generated by Diffusers [12.986394431694206]
MSCOCOとWikimediaのデータセットのキャプションから生成された画像は、安定拡散とGLIDEの2つの最先端モデルを用いて検討する。
実験の結果, 単純なマルチ層パーセプトロンを用いて生成した画像を検出することができることがわかった。
関連したテキスト情報を画像に組み込むと、検出結果が大幅に改善されることは滅多にない。
論文 参考訳(メタデータ) (2023-03-09T14:14:29Z) - Uncovering the Disentanglement Capability in Text-to-Image Diffusion
Models [60.63556257324894]
画像生成モデルの重要な特性は、異なる属性をアンタングルする能力である。
本稿では,2つのテキスト埋め込みの混合重みをスタイルマッチングとコンテンツ保存に最適化した,シンプルで軽量な画像編集アルゴリズムを提案する。
実験により,提案手法は拡散モデルに基づく画像編集アルゴリズムよりも優れた性能で,幅広い属性を修正可能であることが示された。
論文 参考訳(メタデータ) (2022-12-16T19:58:52Z) - Spurious Features Everywhere -- Large-Scale Detection of Harmful
Spurious Features in ImageNet [36.48282338829549]
本稿では,ImageNetのような大規模データセットにおいて,突発的特徴を体系的に識別するフレームワークを開発する。
我々は,クラス単独で有害な刺激的特徴の存在が,そのクラスの予測を誘発するのに十分であることを示すことによって,その結果を検証する。
我々はSpuFixを単純な緩和法として導入し、これまで同定された有害なスプリアス機能に対するImageNet分類器の依存を減らす。
論文 参考訳(メタデータ) (2022-12-09T14:23:25Z) - Traditional Classification Neural Networks are Good Generators: They are
Competitive with DDPMs and GANs [104.72108627191041]
従来のニューラルネットワーク分類器は、最先端の生成モデルに匹敵する高品質な画像を生成することができることを示す。
マスクをベースとした再構成モジュールを提案し, 意味的勾配を意識し, 可視画像の合成を行う。
また,本手法は,画像テキスト基盤モデルに関して,テキスト・画像生成にも適用可能であることを示す。
論文 参考訳(メタデータ) (2022-11-27T11:25:35Z) - Saliency Constrained Arbitrary Image Style Transfer using SIFT and DCNN [22.57205921266602]
一般的なニューラルスタイルの転送方法を使用する場合、スタイル画像のテクスチャや色は通常、コンテンツ画像に不完全に転送される。
本稿では,その効果を低減・回避するための新しいサリエンシ制約手法を提案する。
実験により、ソースイメージの正当性マップは正しいマッチングを見つけ出し、アーティファクトを避けるのに役立つことが示された。
論文 参考訳(メタデータ) (2022-01-14T09:00:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。