論文の概要: Diversity and Diffusion: Observations on Synthetic Image Distributions with Stable Diffusion

• arxiv url: http://arxiv.org/abs/2311.00056v1
• Date: Tue, 31 Oct 2023 18:05:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 16:11:11.602795
• Title: Diversity and Diffusion: Observations on Synthetic Image Distributions with Stable Diffusion
• Title（参考訳）: 多様性と拡散:安定拡散を伴う合成画像分布の観察
• Authors: David Marwood, Shumeet Baluja, Yair Alon
• Abstract要約: Text-to-image (TTI)システムにより、単純なテキストプロンプトでリアルな画像を作成することができる。 これまでに行われたすべての実験において、合成画像のみで訓練された分類器は推論時に性能が良くない。 この課題に対するTTIシステムの有用性を制限する4つの問題:曖昧さ、プロンプトへの順守、多様性の欠如、基礎となる概念を表現できないこと。
• 参考スコア（独自算出の注目度）: 6.491645162078057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in text-to-image (TTI) systems, such as StableDiffusion, Imagen, and DALL-E 2, have made it possible to create realistic images with simple text prompts. It is tempting to use these systems to eliminate the manual task of obtaining natural images for training a new machine learning classifier. However, in all of the experiments performed to date, classifiers trained solely with synthetic images perform poorly at inference, despite the images used for training appearing realistic. Examining this apparent incongruity in detail gives insight into the limitations of the underlying image generation processes. Through the lens of diversity in image creation vs.accuracy of what is created, we dissect the differences in semantic mismatches in what is modeled in synthetic vs. natural images. This will elucidate the roles of the image-languag emodel, CLIP, and the image generation model, diffusion. We find four issues that limit the usefulness of TTI systems for this task: ambiguity, adherence to prompt, lack of diversity, and inability to represent the underlying concept. We further present surprising insights into the geometry of CLIP embeddings.
• Abstract（参考訳）: StableDiffusion, Imagen, DALL-E 2などのTTIシステムの最近の進歩により、単純なテキストプロンプトでリアルな画像を作成することができるようになった。 これらのシステムを使用して、新しい機械学習分類器を訓練するために、自然画像を取得する手作業を排除する傾向にある。 しかし、これまで行われたすべての実験において、合成画像のみで訓練された分類器は、訓練に使用された画像が現実的に見えるにもかかわらず、推論が不十分である。 この明らかな矛盾を詳細に調べると、基盤となる画像生成プロセスの限界についての洞察が得られる。 画像生成の多様性と生成の正確さのレンズを通して、合成画像と自然画像のモデル化における意味的ミスマッチの違いを識別する。 これにより、Image-languag emodel、CLIP、および画像生成モデル、拡散の役割が解明される。 この課題に対するTTIシステムの有用性を制限する4つの問題:曖昧さ、プロンプトへの順守、多様性の欠如、基礎となる概念を表現できないこと。 さらに、CLIP埋め込みの幾何学に関する驚くべき知見を示す。

関連論文リスト

• Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
  PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。 認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
  論文  参考訳（メタデータ） (2024-02-28T06:07:07Z)
• Unlocking Pre-trained Image Backbones for Semantic Image Synthesis [29.688029979801577]
  本稿では,現実的な画像を生成するセマンティック画像合成のための新しい種類のGAN識別器を提案する。 DP-SIMSをダブした本モデルでは,ADE-20K,COCO-Stuff,Cityscapesの入力ラベルマップと画像品質と一貫性の両面から,最新の結果が得られる。
  論文  参考訳（メタデータ） (2023-12-20T09:39:19Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• CIFAKE: Image Classification and Explainable Identification of AI-Generated Synthetic Images [7.868449549351487]
  本稿では,コンピュータビジョンによるAI生成画像の認識能力を高めることを提案する。 写真が本物かAIによって生成されるかに関して、バイナリ分類問題として存在する2つのデータセット。 本研究では,畳み込みニューラルネットワーク(CNN)を用いて画像をリアルとフェイクの2つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2023-03-24T16:33:06Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。