論文の概要: A Cat Is A Cat (Not A Dog!): Unraveling Information Mix-ups in Text-to-Image Encoders through Causal Analysis and Embedding Optimization

• arxiv url: http://arxiv.org/abs/2410.00321v5
• Date: Fri, 08 Nov 2024 01:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:52:16.807665
• Title: A Cat Is A Cat (Not A Dog!): Unraveling Information Mix-ups in Text-to-Image Encoders through Causal Analysis and Embedding Optimization
• Title（参考訳）: 猫は猫だ(犬じゃない!):因果解析と埋め込み最適化によるテキスト・画像エンコーダの情報混合の解明
• Authors: Chieh-Yun Chen, Chiang Tseng, Li-Wu Tsao, Hong-Han Shuai,
• Abstract要約: 本稿では,テキスト・ツー・イメージ拡散モデル(T2I)のテキストエンコーダにおける因果的方法の影響を解析する。 本稿では,既存の手法よりも高精度に情報損失を定量化する新しい自動評価指標を提案する。
• 参考スコア（独自算出の注目度）: 19.174687500622976
• License:
• Abstract: This paper analyzes the impact of causal manner in the text encoder of text-to-image (T2I) diffusion models, which can lead to information bias and loss. Previous works have focused on addressing the issues through the denoising process. However, there is no research discussing how text embedding contributes to T2I models, especially when generating more than one object. In this paper, we share a comprehensive analysis of text embedding: i) how text embedding contributes to the generated images and ii) why information gets lost and biases towards the first-mentioned object. Accordingly, we propose a simple but effective text embedding balance optimization method, which is training-free, with an improvement of 125.42% on information balance in stable diffusion. Furthermore, we propose a new automatic evaluation metric that quantifies information loss more accurately than existing methods, achieving 81% concordance with human assessments. This metric effectively measures the presence and accuracy of objects, addressing the limitations of current distribution scores like CLIP's text-image similarities.
• Abstract（参考訳）: 本稿では,テキスト・ツー・イメージ拡散モデル(T2I)のテキストエンコーダにおける因果的方法の影響を分析する。 それまでの作業は、デノナイジングプロセスを通じて問題に対処することに集中してきた。 しかしながら、テキストの埋め込みがT2Iモデルにどのように貢献するか、特に複数のオブジェクトを生成する場合についての研究は行われていない。 本稿では,テキスト埋め込みの包括的分析について述べる。 一 テキストの埋め込みが生成された画像にどのように貢献するか及び 二 情報が失われた理由及び第一項の対象に偏りがあること。 そこで本研究では, 安定拡散における情報バランスを125.42%改善した, トレーニング不要な簡易かつ効果的なテキスト埋め込みバランス最適化手法を提案する。 さらに,従来の手法よりも高精度に情報損失を定量化し,人的評価と81%の精度で情報損失を評価できる新しい自動評価指標を提案する。 この測定基準は、CLIPのテキストイメージの類似性のような現在の分散スコアの制限に対処するため、オブジェクトの存在と精度を効果的に測定する。

関連論文リスト

• Improving Embedding Accuracy for Document Retrieval Using Entity Relationship Maps and Model-Aware Contrastive Sampling [0.0]
  APEX-Embedding-7Bは、7ビリオンパラメータデコーダのみのテキスト特徴抽出モデルである。 このアプローチでは2つのトレーニング手法を採用して,現実の焦点を即時的に改善する。 本モデルでは,より長いコンテキスト文書検索タスクに対して,テキスト特徴抽出における最先端の標準を新たに確立する。
  論文  参考訳（メタデータ） (2024-10-08T17:36:48Z)
• Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
  本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。 これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。 その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T23:41:52Z)
• Efficiently Leveraging Linguistic Priors for Scene Text Spotting [63.22351047545888]
  本稿では,大規模テキストコーパスから言語知識を活用する手法を提案する。 シーンテキストデータセットとよく一致したテキスト分布を生成し、ドメイン内の微調整の必要性を取り除く。 実験結果から,本手法は認識精度を向上するだけでなく,単語のより正確な局所化を可能にすることが示された。
  論文  参考訳（メタデータ） (2024-02-27T01:57:09Z)
• Filter & Align: Leveraging Human Knowledge to Curate Image-Text Data [31.507451966555383]
  本稿では、画像テキストアライメントに関する人間の知識を取り入れた新しいアルゴリズムを提案する。 さまざまなソースからの複数のキャプションに各画像が関連付けられている多様な画像テキストデータセットを収集する。 我々は、画像テキストアライメントに関する人間の微妙な理解を内在化するために、これらの人間の参照アノテーションに対する報酬モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-11T05:57:09Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• Benchmarking Robustness of Text-Image Composed Retrieval [46.98557472744255]
  テキスト画像合成検索は、合成されたクエリを通してターゲット画像を取得することを目的としている。 近年,情報に富む画像と簡潔な言語の両方を活用する能力に注目が集まっている。 しかし、現実世界の腐敗やさらなるテキスト理解に対するこれらのアプローチの堅牢性は研究されていない。
  論文  参考訳（メタデータ） (2023-11-24T20:16:38Z)
• Divide, Evaluate, and Refine: Evaluating and Improving Text-to-Image Alignment with Iterative VQA Feedback [20.78162037954646]
  テキストと画像のアライメントの評価と改善に対する分解的アプローチを導入する。 人間のユーザスタディでは、提案手法が従来の最先端の手法を8.7%超え、テキストと画像のアライメントの精度が向上した。
  論文  参考訳（メタデータ） (2023-07-10T17:54:57Z)
• Discriminative Class Tokens for Text-to-Image Diffusion Models [107.98436819341592]
  自由形式のテキストの表現可能性を利用した非侵襲的な微調整手法を提案する。 本手法は,従来の微調整法と比較して高速で,クラス内の画像の収集を必要としない。 i)標準拡散モデルよりも正確で高品質な生成画像,(ii)低リソース環境でのトレーニングデータの拡張,および(iii)誘導分類器の訓練に使用されるデータ情報を明らかにする。
  論文  参考訳（メタデータ） (2023-03-30T05:25:20Z)
• Revisiting text decomposition methods for NLI-based factuality scoring of summaries [9.044665059626958]
  細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。 また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-11-30T09:54:37Z)
• Shifted Diffusion for Text-to-image Generation [65.53758187995744]
  Corgiは,提案したシフト拡散モデルに基づいて,入力テキストからより優れた画像埋め込み生成を実現する。 Corgiはまた、ダウンストリーム言語フリーのテキスト画像生成タスク上で、さまざまなデータセットにまたがる最先端の新たな結果も達成している。
  論文  参考訳（メタデータ） (2022-11-24T03:25:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。