論文の概要: What Remains OOD? OODConceptBench for Open-World Concept Recognition in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.33564v1
• Date: Sat, 24 Oct 2026 09:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.36169
• Title: What Remains OOD? OODConceptBench for Open-World Concept Recognition in Vision-Language Models
• Title（参考訳）: OODとは何か? OODConceptBenchによる視覚言語モデルにおけるオープンワールド概念認識
• Abstract要約: OODConceptBenchは,画像-概念ペア上でのオープンワールド概念認識のための階層的ベンチマークである。 このベンチマークは、7つのオープンワールドカテゴリにわたる560のコンセプトフレーズをカバーしている。 リリース年,モデルファミリ,変種別に37の視覚言語モデルを評価した。
• 参考スコア（独自算出の注目度）: 81.78040389767705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the era of large-scale pretrained models, zero-shot generalization has increasingly blurred the boundary between known and unknown concepts. However, current evaluations do not directly reveal which open-world concepts different vision-language models can recognize. To study this problem, we introduce OODConceptBench, a hierarchical benchmark for open-world concept recognition on image-concept pairs. The full benchmark set (L1) contains 30,752 images, and the harder subset (L2) contains 14,285 images. The benchmark covers 560 concept phrases across seven open-world categories. We evaluate 37 vision-language models across release year, model family, and variant. We obtain three main findings. First, target-concept recognition is lower on L2 than on L1 across all 37 evaluated models. Second, later-released models do not necessarily achieve stronger open-world concept recognition. Third, an increase in overall recognition does not imply consistent improvement across all benchmark categories. Together, these results show that OOD remains a challenge even in the era of large-scale vision-language pretraining.
• Abstract（参考訳）: 大規模事前訓練モデルの時代には、ゼロショット一般化は既知の概念と未知の概念の境界を曖昧にしている。 しかしながら、現在の評価では、異なる視覚言語モデルが認識できるオープンワールドの概念を直接明らかにしていない。 この問題を解決するために,OODConceptBenchという,概念認識のための階層的ベンチマークを導入する。 フルベンチマークセット(L1)は30,752個の画像を含み、ハードサブセット(L2)は14,285個の画像を含む。 このベンチマークは、7つのオープンワールドカテゴリにわたる560のコンセプトフレーズをカバーしている。 リリース年,モデルファミリ,変種別に37の視覚言語モデルを評価した。 主な発見は3つある。 第一に、ターゲット概念認識はL2よりもL1よりもL2の方が低い。 第二に、後発のモデルは必ずしもより強力なオープンワールド概念認識を達成するとは限らない。 第3に、全体的な認識の増大は、すべてのベンチマークカテゴリで一貫した改善を意味するものではない。 これらの結果は,大規模視覚言語事前学習の時代においても,OODは依然として課題であることを示している。

関連論文リスト

• VisualWorldBench: A Fine-Grained Multi-Task Benchmark for Evaluating Visual World Knowledge in MLLMs [10.385472366436789]
  ビジュアルワールドナレッジはマルチモーダル大言語モデル(MLLM)のコア機能である 既存のベンチマークは、少数のドメインにまたがる少数のカテゴリに限られており、現実世界のビジュアルエンティティのオープンなスケールには程遠い。 これは8つの視覚領域にまたがる21,291の葉ノードクラスの階層的な分類に基づくマルチタスクベンチマークである。
  論文  参考訳（メタデータ） (2026-10-14T12:20:56Z)
• NormViz: A Benchmark and Framework for Grounding Multimodal Reasoning in Global Cultures [58.53196987370368]
  16か国にまたがる3,268枚のコントラスト画像ペアのベンチマークを導入する。 それぞれのペアは、それぞれのイメージの解釈方法を変える文化的な振る舞いにのみ変化する。 説明と組み合わせた64k画像のトレーニングデータセットであるNormViz-Trainを紹介する。
  論文  参考訳（メタデータ） (2026-09-06T21:02:47Z)
• Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning [39.26120643494408]
  実世界の先行を体系的に矛盾させるルールの下で,テキスト・ツー・イメージ・モデルが画像を生成することができるかどうかを検討する。 CF-Worldは、各シナリオを3つのプログレッシブなレベルにまとめる: 通常の世界の知識の下での事実生成、直接的な視覚的指示を伴う明示的な反事実生成、そして変化した規則から因果的推論を必要とする暗黙的な反事実生成である。
  論文  参考訳（メタデータ） (2026-06-23T13:15:07Z)
• Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
  TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。 TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
  論文  参考訳（メタデータ） (2025-07-10T17:59:58Z)
• What You Perceive Is What You Conceive: A Cognition-Inspired Framework for Open Vocabulary Image Segmentation [65.80512502962071]
  オープン語彙のイメージセグメンテーションは、推論時に動的に調整可能で事前定義された新しいカテゴリを認識するという課題に取り組む。 既存のパラダイムは通常、クラスに依存しない領域のセグメンテーションを実行し、続いてカテゴリマッチングを行い、領域のセグメンテーションとターゲット概念の整合性が劣る。 人間の視覚認識過程をエミュレートするオープン語彙画像セグメント化のための新しい認知刺激フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T06:33:48Z)
• REBUS: A Robust Evaluation Benchmark of Understanding Symbols [1.90463290938268]
  GPT-4oは他の全てのモデルよりも大幅に優れ、続いてプロプライエタリなモデルも他の評価モデルよりも優れていた。 最高のモデルでさえ、最終的な精度はわずか42%で、ハードパズルでは7%に低下する。 したがって、我々のベンチマークは、マルチモーダルな大言語モデルの知識と推論における大きな欠点を特定するのに利用できる。
  論文  参考訳（メタデータ） (2024-01-11T00:30:28Z)
• Revisiting Few-Shot Object Detection with Vision-Language Models [49.79495118650838]
  我々は、最近の基礎視覚言語モデル(VLM)の文脈で、少数ショットオブジェクト検出(FSOD)のタスクを再考する。 我々は,任意の外部データ上で事前学習された検出器を評価する新しいベンチマークプロトコルであるFoundational FSODを提案する。 CVPR 2024 Foundational FSOD コンペティションについて論じ,コミュニティからの洞察を共有した。
  論文  参考訳（メタデータ） (2023-12-22T07:42:00Z)
• MV-CLIP: Multi-View CLIP for Zero-shot 3D Shape Recognition [49.52436478739151]
  大規模な事前訓練モデルでは、オープンワールドシナリオにおける視覚と言語タスクのパフォーマンスが著しく向上している。 近年の手法では、ゼロショット3次元形状認識を実現するために、言語画像事前学習を採用している。 本稿では、ビュー選択と階層的プロンプトによる信頼性の向上を目的とする。
  論文  参考訳（メタデータ） (2023-11-30T09:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。