論文の概要: Flow-CLIP: Image-Conditioned Residual Scoring for CompositionalImage-Text Matching
- arxiv url: http://arxiv.org/abs/2610.21937v1
- Date: Thu, 15 Oct 2026 14:12:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.120676
- Title: Flow-CLIP: Image-Conditioned Residual Scoring for CompositionalImage-Text Matching
- Title（参考訳）: Flow-CLIP: 合成画像-テキストマッチングのための画像合成残像符号化
- Abstract要約: Flow-CLIPは、画像条件によるトークン-パッチエビデンスの変化を通じて、グローバルアライメントを学習する。
クロスイメージマージンランキングは、マッチした画像とミスマッチした画像のキャプションペアを比較します。
- 参考スコア（独自算出の注目度）: 5.164313454479676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision--language pre-training has enabled substantial progress in image--text retrieval and zero-shot recognition by learning transferable cross-modal representations. However, sentence-level alignment remains insufficient for compositional matching, where captions can describe the same objects and attributes while differing in how these elements are bound. To address this limitation, we propose Flow-CLIP, which refines global image-text alignment through image-conditioned changes in token--patch evidence. Global Compatibility Calibration (GCC) learns a sentence-level similarity metric, while Image-Conditioned Evidence Refinement (ICER) incorporates visual patch context into token queries and uses the resulting change in local matching evidence to adjust the global score. We further introduce Cross-Image Margin Ranking (CIMR), which compares the same positive--negative caption pair across matched and mismatched images, encouraging a larger ranking margin when the image supports the correct description. Experiments on compositional matching and attribute--object binding benchmarks show that Flow-CLIP improves binding accuracy over pretrained CLIP and learned global alignment through local evidence refinement, while cross-image ranking supervision mitigates reliance on language priors. Code will be released at link.
- Abstract（参考訳）: 視覚言語による事前学習は、移動可能なクロスモーダル表現を学習することで、画像検索とゼロショット認識の大幅な進歩を実現している。
しかし、文レベルのアライメントはコンポジションマッチングには不十分であり、キャプションは同じオブジェクトや属性を記述できるが、これらの要素のバインド方法が異なる。
この制限に対処するため,トークン・パッチ・エビデンスにおける画像条件の変更により,グローバルな画像テキストアライメントを改良するFlow-CLIPを提案する。
Global Compatibility Calibration (GCC) は文レベルの類似度尺度を学習し、Image-Conditioned Evidence Refinement (ICER) は視覚パッチコンテキストをトークンクエリに組み込み、その結果の局所的な一致証拠の変化を使用してグローバルスコアを調整する。
さらに、一致した画像と一致した画像間で同じ正負のキャプションペアを比較し、画像が正しい記述をサポートする場合により大きなランキングマージンを奨励するクロスイメージマージンランキング(CIMR)を導入し、コンポジションマッチングと属性オブジェクトバインディングベンチマークの実験により、Flow-CLIPは事前訓練されたCLIPよりも結合精度を改善し、局所的なエビデンス改善を通じてグローバルなアライメントを学習し、クロスイメージランキングの監督は言語先行に依存することを示唆した。
コードはリンクでリリースされる。
関連論文リスト
- CycleCap: Improving VLMs Captioning Performance via Self-Supervised Cycle Consistency Fine-Tuning [65.10059440725041]
視覚言語モデル(VLM)は画像キャプション、視覚的質問応答、視覚的推論において顕著な進歩を遂げている。
ヴィジュアル言語を誤用する傾向があり、しばしば過度に汎用的あるいは幻覚的な記述を生み出している。
既存のアプローチでは、コストがかかる大規模アノテートデータセットのインストラクションチューニングと、キャプションリファインメントのための複雑なテストタイムフレームワークによって、この問題に対処している。
本研究では,サイクル一貫性のレンズを用いて,画像テキストのアライメントを再考する。
論文 参考訳（メタデータ） (2026-03-18T20:57:31Z) - AlignBench: Benchmarking Fine-Grained Image-Text Alignment with Synthetic Image-Caption Pairs [27.133240420463807]
AlignBenchは画像テキストアライメントの新しい指標を提供するベンチマークである。
多様な画像・テキスト・画像モデルとテキスト・ツー・イメージモデルによって生成された詳細な画像・キャプチャ・ペアを評価する。
各文は正当性のために注釈付けされ、VLMをアライメント評価器として直接評価することができる。
論文 参考訳（メタデータ） (2025-11-25T17:19:47Z) - Finetuning CLIP to Reason about Pairwise Differences [52.028073305958074]
本稿では,CLIPのような視覚言語モデルの学習手法を提案する。
画像間の差異のテキスト記述が画像埋め込み空間の差に対応するようにCLIPを微調整する。
提案手法は,特定の属性によって画像のランク付け能力を大幅に向上させ,下流画像分類タスクにおけるゼロショット分類性能を向上する。
論文 参考訳（メタデータ） (2024-09-15T13:02:14Z) - Improving fine-grained understanding in image-text pre-training [37.163228122323865]
SPARse Fine-fine Contrastive Alignment (SPARC) は、画像とテキストのペアからよりきめ細かなマルチモーダル表現を事前学習する簡単な方法である。
粗い情報に依存した画像レベルのタスクに対して、競合するアプローチよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-18T10:28:45Z) - SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。
SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。
指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-10-20T08:44:47Z) - Sentence-level Prompts Benefit Composed Image Retrieval [69.78119883060006]
合成画像検索(CIR)は、参照画像と相対キャプションの両方を含むクエリを用いて、特定の画像を検索するタスクである。
本稿では,事前訓練されたV-Lモデル,例えばBLIP-2を用いて文レベルのプロンプトを生成することを提案する。
提案手法は,Fashion-IQおよびCIRRデータセット上の最先端のCIR手法に対して良好に動作する。
論文 参考訳（メタデータ） (2023-10-09T07:31:44Z) - CyCLIP: Cyclic Contrastive Language-Image Pretraining [34.588147979731374]
ペア画像テキストデータに対するコントラスト表現学習の最近の進歩は、ゼロショット分類と分布ロバスト性のための最先端性能を達成するCLIPのようなモデルにつながっている。
我々は、標準のコントラスト目的によって学習された画像とテキストの表現が交換不可能であり、不整合な下流予測につながることを実証した。
画像やテキスト空間で幾何学的に一貫した表現を明示的に最適化するコントラスト表現学習フレームワークであるCyCLIPを提案する。
論文 参考訳（メタデータ） (2022-05-28T15:31:17Z) - Similarity Reasoning and Filtration for Image-Text Matching [85.68854427456249]
画像-テキストマッチングのための類似度グラフ推論と注意フィルタリングネットワークを提案する。
類似性グラフ推論(SGR)モジュールを1つのグラフ畳み込みニューラルネットワークに頼り、局所的および大域的アライメントの両方と関係性を考慮した類似性を推論する。
Flickr30K と MSCOCO のデータセット上での最先端性能を実現する上で,提案手法の優位性を示す。
論文 参考訳（メタデータ） (2021-01-05T06:29:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。