論文の概要: Human-Grounded Calibration for Long-Text Image-Text Congruence in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2609.15640v1
- Date: Mon, 14 Sep 2026 14:26:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.436435
- Title: Human-Grounded Calibration for Long-Text Image-Text Congruence in Vision-Language Models
- Title（参考訳）: 視覚・言語モデルにおける画像・テキストの長文一致に対するヒューマングラウンド校正
- Abstract要約: 長文画像-テキストの一致スコアリングは、視覚言語システムにとってますます重要になっている。
本稿では,画像-テキスト類似性証拠を有界スコアにマッピングする軽量キャリブレーション層である Congruency Score (CS) を提案する。
- 参考スコア（独自算出の注目度）: 46.28810845443601
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-text image--text congruence scoring is increasingly important for vision-language systems that must evaluate whether detailed textual descriptions match visual content. However, raw similarity scores from dual-encoder models are difficult to interpret as calibrated congruence measures, especially under the modality gap between image and text embeddings. This paper proposes Congruency Score (CS), a lightweight calibration layer that maps image--text similarity evidence into a bounded score. Using DOCCI and Urban1k, we evaluate four frozen vision-language backbones and show that observed reductions in post-projection centroid distance do not uniformly improve image--text retrieval performance. Human-grounded evaluations on DOCCI further reveal a trade-off: direct post-hoc calibration preserves high association with human judgments, whereas selected projection-based configurations can reduce threshold-relevant slope and intercept distortions at the cost of retrieval performance and association strength. These results establish long-text image--text congruence scoring as a calibrated score-estimation problem, where retrieval performance, human association, and threshold calibration must be evaluated as distinct objectives. CS provides a lightweight way to expose and operationalize this separation.
- Abstract（参考訳）: 詳細なテキスト記述が視覚内容と一致するかどうかを評価する必要がある視覚言語システムでは,長文画像とテキストの一致スコアがますます重要になっている。
しかし、二重エンコーダモデルからの生の類似度スコアは、特に画像とテキストの埋め込みのモダリティギャップにおいて、校正された一致度尺度として解釈することは困難である。
本稿では,画像-テキスト類似性証拠を有界スコアにマッピングする軽量キャリブレーション層である Congruency Score (CS) を提案する。
DOCCIとUrban1kを用いて、4つの凍結した視覚言語バックボーンを評価し、投影後セントロイド距離の減少が画像テキスト検索性能を均一に改善しないことを示す。
直接保温後の校正は人的判断と高い相関を保ち、選択されたプロジェクションベースの構成は、検索性能と関連強度のコストで閾値関連勾配を減少させ、歪みを遮断することができる。
これらの結果は,検索性能,人間関係,しきい値のキャリブレーションを客観的な目的として評価しなくてはならない,校正スコア推定問題として,長文画像のコングルエンススコアが確立される。
CSはこの分離を公開し、運用するための軽量な方法を提供する。
関連論文リスト
- Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions [81.33113485830711]
視覚言語モデルに対して,視覚のない単一エンコーダ検索パイプラインを導入する。
VLLM生成した構造化画像記述の助けを借りてテキストからテキストへ移行する。
提案手法は,複数検索および構成性ベンチマークにおいて,最先端のゼロショット性能を実現する。
論文 参考訳（メタデータ） (2025-09-23T16:22:27Z) - TokBench: Evaluating Your Visual Tokenizer before Visual Generation [75.38270351179018]
さまざまな画像トークンやVAEに対して,テキストと顔の復元品質をさまざまな尺度で分析する。
以上の結果から, 現代の視覚トークン化器は, 特に小規模では, 細粒度保存に苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2025-05-23T17:52:16Z) - Redemption Score: A Multi-Modal Evaluation Framework for Image Captioning via Distributional, Perceptual, and Linguistic Signal Triangulation [3.4998703934432682]
Redemption Score(RS)は、3つの相補的な信号を三角測量することによって画像キャプションをランク付けする新しいフレームワークである。
Flickr8kベンチマークでは、RSはKendall-$tau$ 58.42を達成した。
論文 参考訳（メタデータ） (2025-05-22T03:35:12Z) - Evaluating Text-to-Image and Text-to-Video Synthesis with a Conditional Fréchet Distance [13.599366291595672]
視覚的忠実度とテキスト・プロンプトの整合性を評価する指標であるcFreDを1つのスコアにまとめる。
本研究は, テキスト条件付きモデルの系統評価において, cFreDを頑健で将来性のある指標として評価するものである。
論文 参考訳（メタデータ） (2025-03-27T17:35:14Z) - Image2Text2Image: A Novel Framework for Label-Free Evaluation of Image-to-Text Generation with Text-to-Image Diffusion Models [16.00576040281808]
本稿では,画像キャプションモデルを評価するための新しいフレームワークであるImage2Text2Imageを提案する。
高い類似度スコアは、このモデルが忠実なテキスト記述を生み出し、低いスコアは相違点を強調していることを示唆している。
本フレームワークは人手によるキャプション参照に依存しないので,画像キャプションモデルを評価する上で貴重なツールである。
論文 参考訳（メタデータ） (2024-11-08T17:07:01Z) - A Novel Evaluation Framework for Image2Text Generation [15.10524860121122]
本稿では,画像生成が可能な現代大規模言語モデル(LLM)に根ざした評価フレームワークを提案する。
高い類似度スコアは、画像キャプションモデルが正確にテキスト記述を生成することを示唆している。
類似度の低いスコアは相違点を示し、モデルの性能の潜在的な欠点を明らかにする。
論文 参考訳（メタデータ） (2024-08-03T09:27:57Z) - FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。
FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。
FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
論文 参考訳（メタデータ） (2024-04-23T03:42:14Z) - Vision Language Model-based Caption Evaluation Method Leveraging Visual
Context Extraction [27.00018283430169]
本稿では視覚言語モデルに基づくキャプション評価手法VisCE$2$を提案する。
本手法は,オブジェクト,属性,関係性を含む画像の詳細な内容を参照する視覚的コンテキストに焦点をあてる。
論文 参考訳（メタデータ） (2024-02-28T01:29:36Z) - Mismatch Quest: Visual and Textual Feedback for Image-Text Misalignment [64.49170817854942]
本稿では,検出されたテキストと画像のペア間の相違点の詳細な説明を行う。
我々は、大きな言語モデルと視覚的接地モデルを活用して、与えられた画像に対して妥当なキャプションを保持するトレーニングセットを自動構築する。
また,テキストと視覚的ミスアライメントアノテーションを組み合わせた新たな人為的なテストセットも公開する。
論文 参考訳（メタデータ） (2023-12-05T20:07:34Z) - Transparent Human Evaluation for Image Captioning [70.03979566548823]
画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。
人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。
この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
論文 参考訳（メタデータ） (2021-11-17T07:09:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。