論文の概要: Towards Evaluating Robustness of Prompt Adherence in Text to Image Models

• arxiv url: http://arxiv.org/abs/2507.08039v1
• Date: Wed, 09 Jul 2025 18:40:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.117568
• Title: Towards Evaluating Robustness of Prompt Adherence in Text to Image Models
• Title（参考訳）: テキストから画像モデルへのプロンプト適応のロバスト性評価に向けて
• Authors: Sujith Vemishetty, Advitiya Arora, Anupama Sharma,
• Abstract要約: 本稿では,テキスト・ツー・イメージ・モデルのための総合的な評価枠組みを確立することを目的とする。 我々は,入力テキストプロンプトの変動要因に応じた画像を生成する際に,これらのモデルのロバスト性を評価することを目的とした,新しいデータセットを構築した。 その結果、これらのモデルでは、単純な幾何学的形状と位置の2つの要素だけで、単純なバイナリ画像を作成するのに苦労していることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advancements in the domain of LLMs in recent years have surprised many, showcasing their remarkable capabilities and diverse applications. Their potential applications in various real-world scenarios have led to significant research on their reliability and effectiveness. On the other hand, multimodal LLMs and Text-to-Image models have only recently gained prominence, especially when compared to text-only LLMs. Their reliability remains constrained due to insufficient research on assessing their performance and robustness. This paper aims to establish a comprehensive evaluation framework for Text-to-Image models, concentrating particularly on their adherence to prompts. We created a novel dataset that aimed to assess the robustness of these models in generating images that conform to the specified factors of variation in the input text prompts. Our evaluation studies present findings on three variants of Stable Diffusion models: Stable Diffusion 3 Medium, Stable Diffusion 3.5 Large, and Stable Diffusion 3.5 Large Turbo, and two variants of Janus models: Janus Pro 1B and Janus Pro 7B. We introduce a pipeline that leverages text descriptions generated by the gpt-4o model for our ground-truth images, which are then used to generate artificial images by passing these descriptions to the Text-to-Image models. We then pass these generated images again through gpt-4o using the same system prompt and compare the variation between the two descriptions. Our results reveal that these models struggle to create simple binary images with only two factors of variation: a simple geometric shape and its location. We also show, using pre-trained VAEs on our dataset, that they fail to generate images that follow our input dataset distribution.
• Abstract（参考訳）: 近年のLLMの分野の進歩は、その際立った能力と多様な応用を誇示して、多くの人々を驚かせた。 様々な実世界のシナリオにおけるそれらの潜在的な応用は、その信頼性と有効性に大きな研究をもたらした。 一方,マルチモーダル LLM やテキスト・ツー・イメージモデルは,テキストのみの LLM に比べれば特に顕著である。 彼らの信頼性は、その性能と堅牢性を評価するのに不十分な研究のために、引き続き制限されている。 本稿では,テキスト・ツー・イメージ・モデルの包括的評価枠組みを確立することを目的としており,特にプロンプトへの付着に着目している。 我々は,入力テキストプロンプトの変動要因に応じた画像を生成する際に,これらのモデルのロバスト性を評価することを目的とした,新しいデータセットを構築した。 安定拡散3媒体, 安定拡散3.5大型, 安定拡散3.5大型ターボ, およびJanus Pro 1BとJanus Pro 7Bの2種類のモデルについて検討した。 我々は,gpt-4oモデルが生成したテキスト記述を地上画像に活用するパイプラインを導入し,これらの記述をテキスト・ツー・イメージモデルに渡すことで人工画像を生成する。 次に、同じシステムプロンプトを用いて、生成した画像をgpt-4oに再度渡して、2つの記述間の変動を比較する。 その結果、これらのモデルでは、単純な幾何学的形状と位置の2つの要素だけで、単純なバイナリ画像を作成するのに苦労していることが判明した。 また、私たちのデータセット上で事前トレーニングされたVAEを使用することで、入力データセットの分布に従って画像を生成することができないことも示しています。

関連論文リスト

• STRICT: Stress Test of Rendering Images Containing Text [11.236527918747925]
  $textbfSTRICT$は、画像内のコヒーレントで命令に沿ったテキストをレンダリングする拡散モデルの能力を強調テストするために設計されたベンチマークである。 プロプライエタリ版やオープンソース版など,いくつかの最先端モデルを評価し,長距離整合性と命令追従能力の持続的制限を明らかにする。
  論文  参考訳（メタデータ） (2025-05-25T05:37:08Z)
• DILLEMA: Diffusion and Large Language Models for Multi-Modal Augmentation [0.13124513975412253]
  本稿では,大規模言語モデルと制御条件拡散モデルを活用した視覚ニューラルネットワークのテストフレームワークを提案する。 私たちのアプローチは、キャプションモデルを用いて画像から詳細なテキスト記述に変換することから始まります。 これらの記述は、テキストから画像への拡散プロセスを通じて、新しいテスト画像を生成するために使用される。
  論文  参考訳（メタデータ） (2025-02-05T16:35:42Z)
• Efficient Pruning of Text-to-Image Models: Insights from Pruning Stable Diffusion [3.399289369740637]
  本稿では,安定拡散2号の訓練後刈り込みに関する先駆的な研究について述べる。 テキスト・ツー・イメージ領域におけるモデル圧縮に対する重要なニーズに対処する。 本稿では,テキストエンコーダを47.5%,拡散生成器を35%にプルークする最適プルーニング構成を提案する。
  論文  参考訳（メタデータ） (2024-11-22T18:29:37Z)
• Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
  画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。 我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。 また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:52:43Z)
• Text-to-Image Diffusion Models are Great Sketch-Photo Matchmakers [120.49126407479717]
  本稿では,ゼロショットスケッチに基づく画像検索(ZS-SBIR)のためのテキスト・画像拡散モデルについて検討する。 スケッチと写真の間のギャップをシームレスに埋めるテキストと画像の拡散モデルの能力。
  論文  参考訳（メタデータ） (2024-03-12T00:02:03Z)
• IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
  本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。 我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。 組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
  論文  参考訳（メタデータ） (2023-08-22T14:39:17Z)
• LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
  本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。 提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。 提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2023-05-23T03:59:06Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Lafite2: Few-shot Text-to-Image Generation [132.14211027057766]
  本稿では,画像のみのデータセットを用いたテキスト・画像生成モデルの事前学習手法を提案する。 擬似テキスト特徴を合成する検索テーマ最適化手法を検討する。 これは、数ショット、半教師あり、完全に教師された学習など、幅広い設定で有益である。
  論文  参考訳（メタデータ） (2022-10-25T16:22:23Z)
• GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models [16.786221846896108]
  テキスト条件画像合成問題に対する拡散モデルについて検討し、2つの異なるガイダンス戦略を比較した。 後者は、フォトリアリズムとキャプションの類似性の両方において、人間の評価者によって好まれており、しばしばフォトリアリスティックなサンプルを生成する。 我々のモデルは、画像のインペイントを行うように微調整することができ、強力なテキスト駆動画像編集を可能にします。
  論文  参考訳（メタデータ） (2021-12-20T18:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。