論文の概要: TokenFocus-VQA: Enhancing Text-to-Image Alignment with Position-Aware Focus and Multi-Perspective Aggregations on LVLMs

• arxiv url: http://arxiv.org/abs/2504.07556v1
• Date: Thu, 10 Apr 2025 08:37:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:20:49.141916
• Title: TokenFocus-VQA: Enhancing Text-to-Image Alignment with Position-Aware Focus and Multi-Perspective Aggregations on LVLMs
• Title（参考訳）: TokenFocus-VQA:LVLMにおける位置認識によるテキスト対画像アライメントの強化と多視点アグリゲーション
• Authors: Zijian Zhang, Xuhui Zheng, Xuecheng Wu, Chong Peng, Xuezhi Cao,
• Abstract要約: TokenFocus-VQAは、位置特異的確率最適化を伴う視覚質問応答(VQA)パラダイムを通じてLVLM(Large Vision-Language Models)を活用する新しい評価フレームワークである。 我々の重要な革新は、重要な意味要素に対応する事前定義された語彙位置の確率分布に選択的にフォーカスするトークン認識損失関数を設計することである。
• 参考スコア（独自算出の注目度）: 12.08567890278249
• License:
• Abstract: While text-to-image (T2I) generation models have achieved remarkable progress in recent years, existing evaluation methodologies for vision-language alignment still struggle with the fine-grained semantic matching. Current approaches based on global similarity metrics often overlook critical token-level correspondences between textual descriptions and visual content. To this end, we present TokenFocus-VQA, a novel evaluation framework that leverages Large Vision-Language Models (LVLMs) through visual question answering (VQA) paradigm with position-specific probability optimization. Our key innovation lies in designing a token-aware loss function that selectively focuses on probability distributions at pre-defined vocabulary positions corresponding to crucial semantic elements, enabling precise measurement of fine-grained semantical alignment. The proposed framework further integrates ensemble learning techniques to aggregate multi-perspective assessments from diverse LVLMs architectures, thereby achieving further performance enhancement. Evaluated on the NTIRE 2025 T2I Quality Assessment Challenge Track 1, our TokenFocus-VQA ranks 2nd place (0.8445, only 0.0001 lower than the 1st method) on public evaluation and 2nd place (0.8426) on the official private test set, demonstrating superiority in capturing nuanced text-image correspondences compared to conventional evaluation methods.
• Abstract（参考訳）: 近年,テキスト・ツー・イメージ(T2I)生成モデルは目覚しい進歩を遂げているが,既存の視覚言語アライメント評価手法は細粒度のセマンティックマッチングに苦慮している。 グローバルな類似度尺度に基づく現在のアプローチは、しばしば、テキスト記述とビジュアルコンテンツの間の重要なトークンレベル対応を見落としている。 そこで本研究では,視覚的質問応答(VQA)パラダイムと位置固有確率最適化を用いて,LVLM(Large Vision-Language Models)を利用した新しい評価フレームワークであるTokenFocus-VQAを提案する。 我々の重要な革新は、重要な意味的要素に対応する事前定義された語彙位置の確率分布に選択的にフォーカスするトークン認識損失関数を設計することであり、きめ細かい意味的アライメントの正確な測定を可能にする。 提案フレームワークは、さらにアンサンブル学習技術を統合し、多様なLVLMアーキテクチャからの多視点評価を集約し、さらなる性能向上を実現する。 NTIRE 2025 T2I Quality Assessment Challenge Track 1で評価し, 従来の評価方法と比較して, NTIRE 2025 T2I Quality Assessment Challenge Track 1では2位(0.8445, 1st法より0.0001低い)と2位(0.8426)にランク付けした。

関連論文リスト

• EvalMuse-40K: A Reliable and Fine-Grained Benchmark with Comprehensive Human Annotations for Text-to-Image Generation Model Evaluation [29.176750442205325]
  本研究では,EvalMuse-40Kベンチマークにコントリビュートし,画像テキストアライメントに関連するタスクに対して,微粒な人間のアノテーションを用いた40K画像テキストペアを収集する。 本稿では,T2Iモデルの画像テキストアライメント機能を評価するための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-24T04:08:25Z)
• Exploring the Spectrum of Visio-Linguistic Compositionality and Recognition [61.956088652094515]
  視覚と言語モデル(VLM)は、驚くべきゼロショット認識能力を示した。 しかし、それらは視覚言語的構成性、特に言語的理解ときめ細かい画像テキストアライメントの課題に直面している。 本稿では,構成性と認識の複雑な関係について考察する。
  論文  参考訳（メタデータ） (2024-06-13T17:58:39Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
  我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。 FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。 FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
  論文  参考訳（メタデータ） (2024-04-23T03:42:14Z)
• Exploring Interactive Semantic Alignment for Efficient HOI Detection with Vision-language Model [3.3772986620114387]
  ISA-HOIはCLIPからの知識を広範囲に活用し,視覚的特徴とテキスト的特徴の対話的意味論を整合させる。 本手法は, HICO-DETとV-COCOのベンチマークにおいて, トレーニングエポックがはるかに少なく, ゼロショット環境下での最先端性能を向上する。
  論文  参考訳（メタデータ） (2024-04-19T07:24:32Z)
• DualCoOp++: Fast and Effective Adaptation to Multi-Label Recognition with Limited Annotations [79.433122872973]
  低ラベル体制における多ラベル画像認識は、大きな課題と実践的重要性の課題である。 我々は、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴の強力なアライメントを活用する。 Evidence-guided Dual Context Optimization (DualCoOp++) という,効率的かつ効果的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-08-03T17:33:20Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• LPN: Language-guided Prototypical Network for few-shot classification [16.37959398470535]
  ラベル付き例を限定して、新しいタスクに適応することを目的としている。 近年の手法では,クエリとサポート画像の類似性の適切な測定方法が検討されている。 本稿では,言語誘導型プロトタイプネットワーク(LPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-04T06:54:01Z)
• Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
  モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。 対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。 我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-27T21:16:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。