論文の概要: Mismatch Quest: Visual and Textual Feedback for Image-Text Misalignment

• arxiv url: http://arxiv.org/abs/2312.03766v2
• Date: Wed, 17 Jul 2024 11:12:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 22:58:48.790890
• Title: Mismatch Quest: Visual and Textual Feedback for Image-Text Misalignment
• Title（参考訳）: Mismatch Quest: 画像テキストのミス修正のための視覚的およびテキスト的フィードバック
• Authors: Brian Gordon, Yonatan Bitton, Yonatan Shafir, Roopal Garg, Xi Chen, Dani Lischinski, Daniel Cohen-Or, Idan Szpektor,
• Abstract要約: 本稿では,検出されたテキストと画像のペア間の相違点の詳細な説明を行う。 我々は、大きな言語モデルと視覚的接地モデルを活用して、与えられた画像に対して妥当なキャプションを保持するトレーニングセットを自動構築する。 また,テキストと視覚的ミスアライメントアノテーションを組み合わせた新たな人為的なテストセットも公開する。
• 参考スコア（独自算出の注目度）: 64.49170817854942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While existing image-text alignment models reach high quality binary assessments, they fall short of pinpointing the exact source of misalignment. In this paper, we present a method to provide detailed textual and visual explanation of detected misalignments between text-image pairs. We leverage large language models and visual grounding models to automatically construct a training set that holds plausible misaligned captions for a given image and corresponding textual explanations and visual indicators. We also publish a new human curated test set comprising ground-truth textual and visual misalignment annotations. Empirical results show that fine-tuning vision language models on our training set enables them to articulate misalignments and visually indicate them within images, outperforming strong baselines both on the binary alignment classification and the explanation generation tasks. Our method code and human curated test set are available at: https://mismatch-quest.github.io/
• Abstract（参考訳）: 既存の画像テキストアライメントモデルは高品質なバイナリアセスメントに達するが、正確なミスアライメントの源を特定できない。 本稿では,検出されたテキストと画像のペア間の誤りの詳細なテキストと視覚的説明を提供する手法を提案する。 大規模な言語モデルと視覚的接地モデルを利用して、与えられた画像とそれに対応するテキストの説明と視覚的指標を関連づけた、妥当な不一致のキャプションを保持するトレーニングセットを自動構築する。 また,テキストと視覚的ミスアライメントアノテーションを組み合わせた新たな人為的なテストセットも公開する。 実験結果から,トレーニングセット上での微調整型視覚言語モデルにより,画像内における誤認識と視覚的表示が可能となり,バイナリアライメント分類と説明生成タスクの双方において,強いベースラインを達成できた。 私たちのメソッドコードと人間のキュレートされたテストセットは以下の通りです。

関連論文リスト

• Removing Distributional Discrepancies in Captions Improves Image-Text Alignment [76.31530836622694]
  画像テキストアライメントの予測を改善するためのモデルを提案する。 このアプローチでは、アライメントタスクのための高品質なトレーニングデータセットの生成に重点を置いています。 また,テキストアライメントに基づくテキスト・ツー・イメージ・モデルによる画像のランク付けにより,本モデルの適用性を示す。
  論文  参考訳（メタデータ） (2024-10-01T17:50:17Z)
• FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
  我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。 FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。 FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
  論文  参考訳（メタデータ） (2024-04-23T03:42:14Z)
• Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image Captioning [13.357749288588039]
  以前の作業では、教師なし設定下でのテキスト情報のみに依存して、画像キャプションのためのCLIPのクロスモーダルアソシエーション機能を活用していた。 本稿では,合成画像とテキストのペアを組み込むことにより,これらの問題に対処する新しい手法を提案する。 テキストデータに対応する画像を得るために、事前訓練されたテキスト・ツー・イメージモデルが配置され、CLIP埋め込み空間の実際の画像に対して、生成された画像の擬似特徴を最適化する。
  論文  参考訳（メタデータ） (2023-12-14T12:39:29Z)
• Leveraging Unpaired Data for Vision-Language Generative Models via Cycle Consistency [47.3163261953469]
  現在の視覚言語生成モデルは、最適な性能と一般化能力を達成するために、ペア画像テキストデータの拡張コーパスに依存している。 サイクル整合性の概念に基づく革新的なトレーニングパラダイムであるITITを導入する。 ITITは、分離された画像とテキストデコーダを備えたジョイントな画像テキストエンコーダで構成され、単一のフレームワークで双方向の画像テキスト生成とテキスト画像生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-05T17:55:19Z)
• Dense Text-to-Image Generation with Attention Modulation [49.287458275920514]
  既存のテキストと画像の拡散モデルは、高密度キャプションを与えられた現実的なイメージを合成するのに苦労する。 そこで我々はDenseDiffusionを提案する。DenseDiffusionは、訓練済みのテキスト・ツー・イメージ・モデルを用いて、そのような高密度キャプションを扱う訓練自由な方法である。 レイアウト条件に特化して訓練したモデルを用いて、同様の品質の視覚的結果を得る。
  論文  参考訳（メタデータ） (2023-08-24T17:59:01Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• What You See is What You Read? Improving Text-Image Alignment Evaluation [28.722369586165108]
  テキスト画像の自動アライメント評価法について検討する。 まず、テキスト・ツー・イメージと画像・ツー・テキスト生成タスクから複数のデータセットにまたがるSeeeTRUEを紹介します。 質問生成モデルと視覚的質問応答モデルに基づくパイプラインを含むパイプラインと、マルチモーダル事前学習モデルの微調整によるエンドツーエンドの分類手法を用いて、アライメントを決定するための2つの自動手法について述べる。
  論文  参考訳（メタデータ） (2023-05-17T17:43:38Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。