論文の概要: A Cat Is A Cat (Not A Dog!): Unraveling Information Mix-ups in Text-to-Image Encoders through Causal Analysis and Embedding Optimization
- arxiv url: http://arxiv.org/abs/2410.00321v1
- Date: Fri, 11 Oct 2024 00:45:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 06:26:14.675977
- Title: A Cat Is A Cat (Not A Dog!): Unraveling Information Mix-ups in Text-to-Image Encoders through Causal Analysis and Embedding Optimization
- Title（参考訳）: 猫は猫だ(犬じゃない!):因果解析と埋め込み最適化によるテキスト・画像エンコーダの情報混合の解明
- Authors: Chieh-Yun Chen, Li-Wu Tsao, Chiang Tseng, Hong-Han Shuai,
- Abstract要約: 本稿では,テキスト・ツー・イメージ拡散モデル(T2I)のテキストエンコーダにおける因果的方法の影響を解析する。
本稿では,既存の手法よりも高精度に情報損失を定量化する新しい自動評価指標を提案する。
- 参考スコア（独自算出の注目度）: 19.174687500622976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper analyzes the impact of causal manner in the text encoder of text-to-image (T2I) diffusion models, which can lead to information bias and loss. Previous works have focused on addressing the issues through the denoising process. However, there is no research discussing how text embedding contributes to T2I models, especially when generating more than one object. In this paper, we share a comprehensive analysis of text embedding: i) how text embedding contributes to the generated images and ii) why information gets lost and biases towards the first-mentioned object. Accordingly, we propose a simple but effective text embedding balance optimization method, which is training-free, with an improvement of 90.05% on information balance in stable diffusion. Furthermore, we propose a new automatic evaluation metric that quantifies information loss more accurately than existing methods, achieving 81% concordance with human assessments. This metric effectively measures the presence and accuracy of objects, addressing the limitations of current distribution scores like CLIP's text-image similarities.
- Abstract（参考訳）: 本稿では,テキスト・ツー・イメージ拡散モデル(T2I)のテキストエンコーダにおける因果的方法の影響を分析する。
それまでの作業は、デノナイジングプロセスを通じて問題に対処することに集中してきた。
しかしながら、テキストの埋め込みがT2Iモデルにどのように貢献するか、特に複数のオブジェクトを生成する場合についての研究は行われていない。
本稿では,テキスト埋め込みの包括的分析について述べる。
一 テキストの埋め込みが生成された画像にどのように貢献するか及び
二 情報が失われた理由及び第一項の対象に偏りがあること。
そこで本研究では, 安定拡散における情報収支の90.05%向上を図り, トレーニング不要な簡易かつ効果的なテキスト埋め込みバランス最適化手法を提案する。
さらに,従来の手法よりも高精度に情報損失を定量化し,人的評価と81%の精度で情報損失を評価できる新しい自動評価指標を提案する。
この測定基準は、CLIPのテキストイメージの類似性のような現在の分散スコアの制限に対処するため、オブジェクトの存在と精度を効果的に測定する。
関連論文リスト
- Image2Text2Image: A Novel Framework for Label-Free Evaluation of Image-to-Text Generation with Text-to-Image Diffusion Models [16.00576040281808]
本稿では,画像キャプションモデルを評価するための新しいフレームワークであるImage2Text2Imageを提案する。
高い類似度スコアは、このモデルが忠実なテキスト記述を生み出し、低いスコアは相違点を強調していることを示唆している。
本フレームワークは人手によるキャプション参照に依存しないので,画像キャプションモデルを評価する上で貴重なツールである。
論文 参考訳（メタデータ） (2024-11-08T17:07:01Z) - Efficiently Leveraging Linguistic Priors for Scene Text Spotting [63.22351047545888]
本稿では,大規模テキストコーパスから言語知識を活用する手法を提案する。
シーンテキストデータセットとよく一致したテキスト分布を生成し、ドメイン内の微調整の必要性を取り除く。
実験結果から,本手法は認識精度を向上するだけでなく,単語のより正確な局所化を可能にすることが示された。
論文 参考訳（メタデータ） (2024-02-27T01:57:09Z) - Seek for Incantations: Towards Accurate Text-to-Image Diffusion
Synthesis through Prompt Engineering [118.53208190209517]
本稿では,拡散モデルの適切なテキスト記述を即時学習により学習するフレームワークを提案する。
提案手法は,入力されたテキストと生成された画像とのマッチングを改善するためのプロンプトを効果的に学習することができる。
論文 参考訳（メタデータ） (2024-01-12T03:46:29Z) - Filter & Align: Leveraging Human Knowledge to Curate Image-Text Data [31.507451966555383]
本稿では、画像テキストアライメントに関する人間の知識を取り入れた新しいアルゴリズムを提案する。
さまざまなソースからの複数のキャプションに各画像が関連付けられている多様な画像テキストデータセットを収集する。
我々は、画像テキストアライメントに関する人間の微妙な理解を内在化するために、これらの人間の参照アノテーションに対する報酬モデルを訓練する。
論文 参考訳（メタデータ） (2023-12-11T05:57:09Z) - Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using
Diffusion Models [63.99110667987318]
DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。
テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
論文 参考訳（メタデータ） (2023-11-28T06:51:28Z) - Benchmarking Robustness of Text-Image Composed Retrieval [46.98557472744255]
テキスト画像合成検索は、合成されたクエリを通してターゲット画像を取得することを目的としている。
近年,情報に富む画像と簡潔な言語の両方を活用する能力に注目が集まっている。
しかし、現実世界の腐敗やさらなるテキスト理解に対するこれらのアプローチの堅牢性は研究されていない。
論文 参考訳（メタデータ） (2023-11-24T20:16:38Z) - On Manipulating Scene Text in the Wild with Diffusion Models [4.034781390227754]
本稿では,Diffusion-BasEd Scene Text Operation Network(DBEST)を紹介する。
具体的には,2つの適応戦略,すなわちワンショットスタイル適応とテキスト認識指導を設計する。
本手法は,文字レベル評価のためのデータセットの94.15%と98.12%を達成する。
論文 参考訳（メタデータ） (2023-11-01T11:31:50Z) - Discriminative Class Tokens for Text-to-Image Diffusion Models [107.98436819341592]
自由形式のテキストの表現可能性を利用した非侵襲的な微調整手法を提案する。
本手法は,従来の微調整法と比較して高速で,クラス内の画像の収集を必要としない。
i)標準拡散モデルよりも正確で高品質な生成画像,(ii)低リソース環境でのトレーニングデータの拡張,および(iii)誘導分類器の訓練に使用されるデータ情報を明らかにする。
論文 参考訳（メタデータ） (2023-03-30T05:25:20Z) - Revisiting text decomposition methods for NLI-based factuality scoring
of summaries [9.044665059626958]
細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。
また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
論文 参考訳（メタデータ） (2022-11-30T09:54:37Z) - Shifted Diffusion for Text-to-image Generation [65.53758187995744]
Corgiは,提案したシフト拡散モデルに基づいて,入力テキストからより優れた画像埋め込み生成を実現する。
Corgiはまた、ダウンストリーム言語フリーのテキスト画像生成タスク上で、さまざまなデータセットにまたがる最先端の新たな結果も達成している。
論文 参考訳（メタデータ） (2022-11-24T03:25:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。