論文の概要: It Takes Two to Probe, Thousands to Retrieve: Putting Vision--Language Probes to the Retrieval Test

• arxiv url: http://arxiv.org/abs/2610.40124v1
• Date: Thu, 29 Oct 2026 14:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 08:13:00.783653
• Title: It Takes Two to Probe, Thousands to Retrieve: Putting Vision--Language Probes to the Retrieval Test
• Title（参考訳）: 探索に2人、数千人、探索に1人必要-探索試験に照準を合わせ
• Abstract要約: 視覚言語モデル(VLM)は、画像テキストマッチングプローブを用いてきめ細かい理解のためにテストされる。 本研究では,2つの評価手法の関連性を評価するために,svoとSugarCrepeの2つのベンチマークを用いて評価を行う。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision--language models (VLMs) are tested for fine-grained understanding with image--text matching probes, a model must prefer the correct image or caption over handcrafted negative. In retrieval, the correct item must beat thousands of alternatives. We measure how these two evaluation methods relate by using two probing benchmarks, \svo{} and SugarCrepe, for retrieval tasks. For 100 image and caption queries we judge the top-10 retrievals from full dataset of six VLMs, with human annotators and an LLM assessor. We than compare how well models rank pool of items on the same queries, while changing only where the negatives comes from: the benchmark, a random draw, or the judged-incorrect retrievals of other models. On \svo{} the accuracy of retrieving a positive over handcrafted negatives is significantly higher than for retrieved ones (the correct item is preferred in 85\% against 77\% of the time). Using pool of ten retrieved negatives leads to same accuracy as when one uses pool of 200 to 430 random negatives. On SugarCrepe the order is reversed: its handcrafted negatives are harder than the retrieved ones. Incomplete relevance labels explain most of the low retrieval scores on \svo{}, where the top-ranked item is correct for 54--90\% of the queries under human labels against 6--21\% under the benchmark's labels. However, we detect no association between passing the probe for a query and retrieving a correct item first. The LLM assessor o3 agrees with individual annotators ($κ$ 0.57--0.61) slightly less than they agree with each other (0.64--0.68).
• Abstract（参考訳）: 視覚言語モデル(VLM)は、画像マッチングプローブを用いてきめ細かな理解のためにテストされる。 検索では、正しい項目は何千もの選択肢に勝てなければならない。 本稿では,これらの2つの評価手法がどのように関係しているかを,検索タスクのために,探索ベンチマークである \svo{} と SugarCrepe を用いて測定する。 100のイメージとキャプションクエリに対して、6つのVLMの完全なデータセットから上位10の検索を判断する。 モデルが同じクエリ上のアイテムのプールをどの程度ランク付けするかを比較するよりも、ベンチマークやランダムドロー、判断された他のモデルの誤った検索など、負の値がどこから来るかだけを変更します。 svo{} では、正のオーバークラフト負を回収する精度は、回収したものよりも著しく高い(正しい項目は 85 % で、77 % に対して好まれる)。 10個の検索された負のプールを使用すると、200から430個のランダムな負のプールを使用する場合と同じ精度が得られる。 SugarCrepeでは順序が逆転し、手作りの負は取り出したものよりも難しい。 不完全関連ラベルは、トップランクの項目が正解である \svo{} の低い検索スコアのほとんどを、ヒトラベルのクエリの54--90-%に対して、ベンチマークラベルの6--21-%に対して説明する。 しかし、クエリーにプローブを渡すことと、まず正しい項目を検索することとの間には何の関係も見つからない。 LLMアセスタo3は個々のアノテータ(κ$ 0.57--0.61)に同意する(0.64--0.68)。

関連論文リスト

• NegT2IBench: When Negation Changes the Picture. A Polarity Benchmark for Text-to-Image Models [42.95507596219371]
  我々は2つの属性タイプと4つの関係カテゴリをカバーする4,800のプロンプトのベンチマークであるNegT2IBenchを紹介した。 私たちの検出器に基づくスコアは再現可能で、監査可能で、要求が失敗したピンポイントです。
  論文  参考訳（メタデータ） (2026-10-02T10:03:56Z)
• GUI-Primitives: Diagnosing Spatial Reasoning Failures in Vision-Language GUI Grounding [8.113418747367573]
  コンピュータ利用エージェントは、インターフェイス要素を見つけるために、スクリーンショットに自然言語命令を接地する。 既存のベンチマークでは、モデルが言語を正しい要素にバインドするかどうかを区別していない。 そこで我々はGUI-Primitives(GUI-Primitives, 994-itemベンチマーク)を紹介した。
  論文  参考訳（メタデータ） (2026-08-22T08:04:59Z)
• VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
  VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。 100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。 強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
  論文  参考訳（メタデータ） (2026-08-18T15:23:06Z)
• Hard Negatives, Hard Lessons: Revisiting Training Data Quality for Robust Information Retrieval with LLMs [53.78110936809744]
  堅牢で再帰的なモデルのトレーニングは通常、大規模なデータセットに依存します。 トレーニングデータセットにおいて、偽陰性を識別し、許容する。 トレーニングデータセットとコードは公開されています。
  論文  参考訳（メタデータ） (2025-05-22T17:47:57Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
  この課題を解決するために,LMMのカスケードと共同学習手法を提案する。 得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
  論文  参考訳（メタデータ） (2023-12-13T18:58:04Z)
• Investigating Data Contamination in Modern Benchmarks for Large Language Models [27.479260572913724]
  近年の観測は、膨らませたベンチマークスコアとLLMの実際の性能の相違を裏付けている。 我々は,オープンソースのLLMとプロプライエタリなLLMの両方に適した2つの手法を提案し,データ汚染について検討した。 いくつかの商用LCMは、様々なテストセットに欠けているオプションを驚くほど推測できる。
  論文  参考訳（メタデータ） (2023-11-16T11:03:04Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Negative Sample is Negative in Its Own Way: Tailoring Negative Sentences for Image-Text Retrieval [19.161248757493386]
  本稿では, 否定文として自動的に合成文を生成するために, 識別・訂正による否定文をTAGS-DC(TAiloring Negative Sentences with Discrimination and Correction)を提案する。 トレーニング中の難易度を維持するため,パラメータ共有による検索と生成を相互に改善する。 実験では,MS-COCOおよびFlickr30Kにおけるモデルの有効性を,現在の最先端モデルと比較して検証した。
  論文  参考訳（メタデータ） (2021-11-05T09:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。