論文の概要: Whispers from the Neighbors: Rethinking Caption Consensus as Inference-Time Evidence for Vision-Language Retrieval

• arxiv url: http://arxiv.org/abs/2610.33798v1
• Date: Sat, 24 Oct 2026 16:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.447596
• Title: Whispers from the Neighbors: Rethinking Caption Consensus as Inference-Time Evidence for Vision-Language Retrieval
• Title（参考訳）: 隣人からのウィスパー : 視覚・言語検索のための推論時間証拠としてのキャプション合意の再考
• Abstract要約: 画像のキャプションに類似した画像の類似性により、9つの凍結エンコーダでR@1を3.4から16.8ポイント改善する。 ナチュラルリファインメントは、キャプションが説明されていない画像の一部をスコア付けし、アウト・ワン・アウトの評価の下でさらに多くのものを追加するように見える。
• 参考スコア（独自算出の注目度）: 1.6975704972827304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An image is rarely described only once. Retrieval benchmarks and many collections attach several captions to each picture, yet dual encoders still judge every image-caption pair in isolation. We ask what these neighboring captions contribute when a frozen encoder consults them at inference time. Fusing image similarity with similarity to an image's own captions improves text-to-image R@1 by 3.4 to 16.8 points across nine frozen encoders when the captions come from the same annotators as the queries. The gain falls to 1.9 to 7.2 points when an off-the-shelf captioner writes them, and to at most one point when they come from a different annotation source; a paraphrase-trained text encoder strengthens the text side further. A natural refinement, scoring the part of the image that the captions leave unexplained, appears to add much more under a leave-one-out evaluation. We show that this advantage arises because the correct candidate's supports are built differently from those of the negative candidates, with set size and query removal each contributing about half, and that under a fixed support index the residual reduces to a reweighting of what the captions already provide. On compositional benchmarks, the captions help by matching candidates to human descriptions of the image, without improving image-text grounding. The code is available at: https://github.com/nhatkhangcs/clip_consensus
• Abstract（参考訳）: 画像は一度しか記述されない。 検索ベンチマークと多くのコレクションは、各画像にいくつかのキャプションを付加するが、デュアルエンコーダは依然としてすべての画像キャプチャペアを分離して判断する。 凍結したエンコーダが推論時にこれらのキャプションにどのような寄与があるか尋ねる。 画像のキャプションに類似した画像の類似性を融合させることで、クエリと同じアノテータからキャプションがやってくると、9つの冷凍エンコーダ間でR@1のテキスト・ツー・イメージが3.4から16.8ポイント向上する。 このゲインは、オフザシェルフキャプタがそれらを書き込むときの1.9から7.2ポイントに低下し、また、異なるアノテーションソースから来るときの少なくとも1ポイントに低下し、パラフレーズ学習されたテキストエンコーダはテキスト側をさらに強化する。 ナチュラルリファインメントは、キャプションが説明されていない画像の一部をスコア付けし、アウト・ワン・アウトの評価の下でさらに多くのものを追加するように見える。 この利点は、正しい候補の支持が負の候補と異なるように構築され、設定サイズとクエリ除去が約半分に寄与し、固定されたサポート指標の下では、残余が既に提供されているキャプションの再重み付けに還元されることから生じる。 合成ベンチマークでは、キャプションは画像の人間の記述に候補を合わせるのに役立ち、画像テキストのグラウンドを改善するのに役立ちます。 コードは、https://github.com/nhatkhangcs/clip_consensus.comで入手できる。

関連論文リスト

• TEVI: Text-Conditioned Editing of Visual Representations via Sparse Autoencoders for Improved Vision-Language Alignment [87.69757277913577]
  画像埋め込みから何を保持するかの信号としてキャプションを使用するフレームワークTEVIを提案する。 合成キャプションを用いた制御設定では,TEVIは,他のキャプションを廃棄しながら,キャプション記述属性の保存に有効であることを示す。
  論文  参考訳（メタデータ） (2026-06-05T16:54:40Z)
• ScaleCap: Inference-Time Scalable Image Captioning via Dual-Modality Debiasing [128.8346376825612]
  高品質画像キャプションの主な課題は、LVLMの固有のバイアスにある。 本稿では,キャプションを継続的に強化・校正し,推論予算を増大させる,スケーラブルなデバイアス付きキャプション戦略を提案する。 450KイメージにScaleCapをアノテートし、LVLMプレトレーニングに使用することで、11の広く使用されているベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-06-24T17:59:55Z)
• Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations [67.92679668612858]
  我々は,集団が個人より優れているという心理的概念に触発されたコンセンサスネットワーク(Css-Net)を提案する。 Css-Netは,(1)コンセンサスモジュールと4つのコンセンサスモジュール,(2)コンセンサス間の相互作用の学習を促進するKulback-Leibler分散損失の2つのコアコンポーネントから構成される。 ベンチマークデータセット、特にFashionIQでは、Css-Netが大幅に改善されている。特に、R@10が2.77%、R@50が6.67%増加し、リコールが大幅に向上している。
  論文  参考訳（メタデータ） (2023-06-03T11:50:44Z)
• Transform, Contrast and Tell: Coherent Entity-Aware Multi-Image Captioning [0.65268245109828]
  コヒーレントエンティティを意識したマルチイメージキャプションは、ニュース文書に隣接する画像のコヒーレントキャプションを生成することを目的としている。 本稿では,コヒーレンス関係を利用して,コヒーレントな実体認識型マルチイメージキャプションモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-04T07:50:31Z)
• Zero-Shot Video Captioning with Evolving Pseudo-Tokens [79.16706829968673]
  本稿では,GPT-2言語モデルとCLIP画像テキストマッチングモデルという,凍結した2つのネットワークを利用するゼロショットビデオキャプション手法を提案する。 マッチングスコアは、ビデオフレームのサブセットに高い平均マッチングスコアを持つ文を生成するために、言語モデルを決定するために使用される。 実験の結果, 生成したキャプションはコヒーレントであり, 現実世界の知識を広範囲に表すことができた。
  論文  参考訳（メタデータ） (2022-07-22T14:19:31Z)
• Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder [52.42057181754076]
  自動エンコーダ機構とコントラスト表現学習の進歩により,画像キャプションのための学習基準を提案する。 文レベルの表現を学習するための3つのプログレッシブモデル構造を開発する。 実験結果から,提案手法は他の指標から得られるスコアとよく一致できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-29T12:27:05Z)
• Multi-Modal Image Captioning for the Visually Impaired [0.0]
  盲目の人が自分の周囲を理解する方法の1つは、画像をクリックして、画像キャプションシステムによって生成された説明に頼ることです。 視覚障害者向けキャプション画像に関する現在の作業では、キャプション生成時に画像に存在するテキストデータを使用しない。 本研究では,最先端画像キャプションモデルであるaoanetを改良し,画像に検出されたテキストを入力特徴として活用することを提案する。
  論文  参考訳（メタデータ） (2021-05-17T18:35:24Z)
• Intrinsic Image Captioning Evaluation [53.51379676690971]
  I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。 実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
  論文  参考訳（メタデータ） (2020-12-14T08:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。