論文の概要: Text-to-Image Diffusion Models Cannot Count, and Prompt Refinement Cannot Help

• arxiv url: http://arxiv.org/abs/2503.06884v1
• Date: Mon, 10 Mar 2025 03:28:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:53:01.764799
• Title: Text-to-Image Diffusion Models Cannot Count, and Prompt Refinement Cannot Help
• Title（参考訳）: テキストと画像の拡散モデルではカウントできないし、プロンプトリファインメントは役に立たない
• Authors: Yuefan Cao, Xuyang Guo, Jiayan Huo, Yingyu Liang, Zhenmei Shi, Zhao Song, Jiahao Zhang, Zhen Zhuang,
• Abstract要約: T2ICountBenchは、最先端のテキスト・画像拡散モデルのカウント能力を厳格に評価するために設計された新しいベンチマークである。 評価の結果, 物体数の増加に伴い精度が著しく低下し, 全ての拡散モデルが正しい物体数を生成することができないことがわかった。
• 参考スコア（独自算出の注目度）: 18.70937620674227
• License:
• Abstract: Generative modeling is widely regarded as one of the most essential problems in today's AI community, with text-to-image generation having gained unprecedented real-world impacts. Among various approaches, diffusion models have achieved remarkable success and have become the de facto solution for text-to-image generation. However, despite their impressive performance, these models exhibit fundamental limitations in adhering to numerical constraints in user instructions, frequently generating images with an incorrect number of objects. While several prior works have mentioned this issue, a comprehensive and rigorous evaluation of this limitation remains lacking. To address this gap, we introduce T2ICountBench, a novel benchmark designed to rigorously evaluate the counting ability of state-of-the-art text-to-image diffusion models. Our benchmark encompasses a diverse set of generative models, including both open-source and private systems. It explicitly isolates counting performance from other capabilities, provides structured difficulty levels, and incorporates human evaluations to ensure high reliability. Extensive evaluations with T2ICountBench reveal that all state-of-the-art diffusion models fail to generate the correct number of objects, with accuracy dropping significantly as the number of objects increases. Additionally, an exploratory study on prompt refinement demonstrates that such simple interventions generally do not improve counting accuracy. Our findings highlight the inherent challenges in numerical understanding within diffusion models and point to promising directions for future improvements.
• Abstract（参考訳）: 生成モデリングは、今日のAIコミュニティで最も重要な問題の1つと広く考えられている。 様々なアプローチの中で、拡散モデルは顕著な成功を収め、テキスト・画像生成のデファクト・ソリューションとなっている。 しかし,これらのモデルでは,性能が優れているにもかかわらず,ユーザ命令の数値的制約に固執する基本的な制約が示され,不正確なオブジェクト数の画像が頻繁に生成される。 いくつかの先行研究がこの問題について言及しているが、この制限の包括的で厳密な評価は依然として不足している。 このギャップに対処するためにT2ICountBenchを導入する。これは最先端のテキスト・画像拡散モデルのカウント能力を厳格に評価する新しいベンチマークである。 私たちのベンチマークでは、オープンソースとプライベートシステムの両方を含む、さまざまな生成モデルのセットを網羅しています。 パフォーマンスを他の機能から明確に分離し、構造化された難易度を提供し、高い信頼性を確保するために人間の評価を組み込む。 T2ICountBenchによる広範囲な評価により、全ての最先端拡散モデルが正しいオブジェクト数を生成することができず、オブジェクト数が増加するにつれて精度が大幅に低下することが明らかとなった。 さらに、急激な改善に関する探索的研究は、そのような単純な介入が一般に数え上げ精度を向上しないことを示した。 本研究は,拡散モデルにおける数値理解の課題と今後の改善に向けての有望な方向を示すものである。

関連論文リスト

• IMAGINE-E: Image Generation Intelligence Evaluation of State-of-the-art Text-to-Image Models [52.73820275861131]
  テキスト・トゥ・イメージ(T2I)モデルは非常に進歩しており、プロンプト追従と画像生成における印象的な能力を示している。 FLUX.1やIdeogram2.0といった最近のモデルでは、様々な複雑なタスクにおいて例外的な性能を示している。 本研究は,T2Iモデルが汎用ユーザビリティに進化する過程における現状と今後の軌道に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2025-01-23T18:58:33Z)
• Unlocking the Potential of Text-to-Image Diffusion with PAC-Bayesian Theory [33.78620829249978]
  テキスト・ツー・イメージ(T2I)拡散モデルは、高忠実で多彩で視覚的にリアルな画像を生成することによって、生成モデルに革命をもたらした。 最近の注目度に基づく手法は、オブジェクトの包摂性や言語的バインディングを改善してきたが、それでも属性のミスバインディングのような課題に直面している。 そこで,ベイズ的手法を用いて,所望のプロパティを強制するために,注意分布を優先したカスタムプライドを設計する手法を提案する。 本手法では,アテンション機構を解釈可能なコンポーネントとして扱い,微粒化制御と属性オブジェクトアライメントの改善を実現している。
  論文  参考訳（メタデータ） (2024-11-25T10:57:48Z)
• Iterative Object Count Optimization for Text-to-image Diffusion Models [59.03672816121209]
  画像とテキストのペアから学ぶ現在のモデルは、本質的にカウントに苦慮している。 本稿では,物体のポテンシャルを集計する計数モデルから得られた計数損失に基づいて生成画像の最適化を提案する。 様々なオブジェクトの生成を評価し,精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-08-21T15:51:46Z)
• Six-CD: Benchmarking Concept Removals for Benign Text-to-image Diffusion Models [58.74606272936636]
  テキスト・ツー・イメージ(T2I)拡散モデルは、テキスト・プロンプトと密接に対応した画像を生成する際、例外的な機能を示す。 モデルは、暴力やヌードの画像を生成したり、不適切な文脈で公共の人物の無許可の肖像画を作成するなど、悪意ある目的のために利用することができる。 悪質な概念や望ましくない概念の発生を防ぐために拡散モデルを変更する概念除去法が提案されている。
  論文  参考訳（メタデータ） (2024-06-21T03:58:44Z)
• A Reliable Framework for Human-in-the-Loop Anomaly Detection in Time Series [17.08674819906415]
  HILADは、人間とAIの動的かつ双方向なコラボレーションを促進するために設計された、新しいフレームワークである。 ビジュアルインターフェースを通じて、HILADはドメインの専門家に、大規模な予期せぬモデルの振る舞いを検出し、解釈し、修正する権限を与えます。
  論文  参考訳（メタデータ） (2024-05-06T07:44:07Z)
• DivCon: Divide and Conquer for Progressive Text-to-Image Generation [0.0]
  拡散駆動型テキスト・ツー・イメージ(T2I)生成は顕著な進歩を遂げた。 レイアウトは、大きな言語モデルとレイアウトベースの拡散モデルを橋渡しするためのインターメジウムとして使用される。 本稿では,T2I生成タスクを単純なサブタスクに分解する分割対コンカレント手法を提案する。
  論文  参考訳（メタデータ） (2024-03-11T03:24:44Z)
• Counterfactual Image Editing [54.21104691749547]
  対物画像編集は、生成AIにおいて重要なタスクであり、ある機能が異なる場合、画像がどのように見えるかを尋ねる。 本稿では,形式言語を用いた対物画像編集タスクを形式化し,潜在生成因子と画像の因果関係をモデル化する。 ニューラル因果モデルを利用して、対物画像を生成する効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-07T20:55:39Z)
• Separate-and-Enhance: Compositional Finetuning for Text2Image Diffusion Models [58.46926334842161]
  この研究は、注意力の低いアクティベーションスコアとマスクオーバーラップに関連する問題を指摘し、このような不一致の根本的な理由を照らしている。 本稿では,物体マスクの重なりを低減し,注目度を最大化する2つの新しい目的,分離損失とエンハンス損失を提案する。 提案手法は従来のテスト時間適応手法と異なり,拡張性と一般化性を高める重要なパラメータの微調整に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-10T22:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。