論文の概要: UOUO: Uncontextualized Uncommon Objects for Measuring Knowledge Horizons of Vision Language Models
- arxiv url: http://arxiv.org/abs/2407.18391v1
- Date: Thu, 25 Jul 2024 20:49:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 14:59:16.826735
- Title: UOUO: Uncontextualized Uncommon Objects for Measuring Knowledge Horizons of Vision Language Models
- Title（参考訳）: UOUO:視覚言語モデルの知識ホライズン計測のための非コンテクスト化された非共通オブジェクト
- Authors: Xinyu Pi, Mingyuan Wu, Jize Jiang, Haozhen Zheng, Beitong Tian, Chengxiang Zhai, Klara Nahrstedt, Zhiting Hu,
- Abstract要約: 本稿では,Uncontextualized Uncommon Objects (UOUO)ベンチマークを紹介する。
このベンチマークは、希少かつ特殊なオブジェクトに対して、大きなパラメータ数と小さなパラメータ数の両方でVLMを体系的にテストすることに焦点を当てている。
我々の包括的分析によると、より小さなVLMは共通のデータセット上での競合性能を維持しているが、非一般的なオブジェクトを含むタスクでは著しく性能が劣っている。
- 参考スコア（独自算出の注目度）: 34.88898648019728
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Smaller-scale Vision-Langauge Models (VLMs) often claim to perform on par with larger models in general-domain visual grounding and question-answering benchmarks while offering advantages in computational efficiency and storage. However, their ability to handle rare objects, which fall into the long tail of data distributions, is less understood. To rigorously evaluate this aspect, we introduce the "Uncontextualized Uncommon Objects" (UOUO) benchmark. This benchmark focuses on systematically testing VLMs with both large and small parameter counts on rare and specialized objects. Our comprehensive analysis reveals that while smaller VLMs maintain competitive performance on common datasets, they significantly underperform on tasks involving uncommon objects. We also propose an advanced, scalable pipeline for data collection and cleaning, ensuring the UOUO benchmark provides high-quality, challenging instances. These findings highlight the need to consider long-tail distributions when assessing the true capabilities of VLMs.
- Abstract（参考訳）: 小型のビジョンランガウジモデル(VLM)は、計算効率とストレージの利点を提供しながら、一般ドメインのビジュアルグラウンドや質問応答ベンチマークにおいて、より大きなモデルと同等に機能すると主張することが多い。
しかし、データ分布の長い尾に落ちる稀なオブジェクトを扱う能力は、あまり理解されていない。
この側面を厳格に評価するために、我々は"Uncontextualized Uncommon Objects"ベンチマーク(UOUO)を導入する。
このベンチマークは、希少かつ特殊なオブジェクトに対して、大きなパラメータ数と小さなパラメータ数の両方でVLMを体系的にテストすることに焦点を当てている。
我々の包括的分析によると、より小さなVLMは共通のデータセット上での競合性能を維持しているが、非一般的なオブジェクトを含むタスクでは著しく性能が劣っている。
また、データ収集とクリーニングのための高度なスケーラブルなパイプラインを提案し、UOUOベンチマークが高品質で挑戦的なインスタンスを提供することを保証します。
これらの知見は、VLMの真の能力を評価する際に、長い尾の分布を考慮する必要性を浮き彫りにした。
関連論文リスト
- Visual-Linguistic Agent: Towards Collaborative Contextual Object Reasoning [26.35257570870916]
Visual-Linguistic Agent (VLA)は、MLLMのリレーショナル推論強度と従来の物体検出器の正確な位置決め能力を組み合わせた協調的なフレームワークである。
VLAは空間的推論とオブジェクトローカライゼーションの両方を強化し、マルチモーダル理解における重要な課題に対処する。
論文 参考訳（メタデータ） (2024-11-15T15:02:06Z) - AutoBench-V: Can Large Vision-Language Models Benchmark Themselves? [55.14033256706175]
視覚・言語情報の統合を促進するためには,LVLM(Large Vision-Language Models)が不可欠である。
本稿では,需要評価のための自動フレームワークであるAutoBench-Vを紹介する。
5つの要求されたユーザ入力にまたがる7つのLVLMの広範な評価を通じて、このフレームワークの有効性と信頼性を示す。
論文 参考訳（メタデータ） (2024-10-28T17:55:08Z) - Training-Free Open-Ended Object Detection and Segmentation via Attention as Prompts [14.631774737903015]
既存の知覚モデルは大量のラベル付きデータから学習することで大きな成功を収めるが、それでもオープンワールドのシナリオに苦戦している。
我々は、オブジェクトカテゴリを入力として含まない未確認オブジェクトを検出する、オープンな対象検出(textiti.e.)を提案する。
提案手法は,オブジェクト検出タスクにおける従来のオープンエンドメソッドを超越し,追加のインスタンスセグメンテーションマスクを提供できることを示す。
論文 参考訳（メタデータ） (2024-10-08T12:15:08Z) - Losing Visual Needles in Image Haystacks: Vision Language Models are Easily Distracted in Short and Long Contexts [65.04791072532106]
視覚言語モデル(VLM)における長文抽出推論評価のためのベンチマークジェネレータであるLoCoVQAを提案する。
LoCoVQAは、数学的推論、VQA、そしてより長い視覚的コンテキストを持つ文字認識タスクのテスト例を拡張している。
このテストは、VLMがクエリに応答する際の無関係な情報をどの程度無視できるかを評価する。
論文 参考訳（メタデータ） (2024-06-24T17:58:03Z) - Task Me Anything [72.810309406219]
本稿では,ユーザのニーズに合わせたベンチマークを作成する。
113Kイメージ、10Kビデオ、2Kの3Dオブジェクトアセット、365以上のオブジェクトカテゴリ、655の属性、335の関係がある。
750万のイメージ/ビデオ問合せペアを生成することが可能で、知覚能力の評価に重点を置いている。
論文 参考訳（メタデータ） (2024-06-17T17:32:42Z) - VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。
既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。
対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文 参考訳（メタデータ） (2024-04-22T04:49:22Z) - What Are We Measuring When We Evaluate Large Vision-Language Models? An Analysis of Latent Factors and Biases [87.65903426052155]
データから潜在視覚言語スキルの発見を目的とした大規模な移動学習実験を行った。
生成タスクが長さバイアスに悩まされることを示し、ベンチマークは出力長の異なるタスクのバランスをとるべきであることを示唆する。
我々は新しいデータセットOLIVEを提示し、そこでユーザーの指示をシミュレーションし、テストしたすべてのデータセットと異なる課題を提示します。
論文 参考訳（メタデータ） (2024-04-03T02:40:35Z) - Revisiting Few-Shot Object Detection with Vision-Language Models [49.79495118650838]
我々は、最近の基礎視覚言語モデル(VLM)の文脈で、少数ショットオブジェクト検出(FSOD)のタスクを再考する。
我々は,任意の外部データ上で事前学習された検出器を評価する新しいベンチマークプロトコルであるFoundational FSODを提案する。
CVPR 2024 Foundational FSOD コンペティションについて論じ,コミュニティからの洞察を共有した。
論文 参考訳（メタデータ） (2023-12-22T07:42:00Z) - Low-shot Object Learning with Mutual Exclusivity Bias [27.67152913041082]
本稿では,相互排他バイアスの計算フレーミングであるLSME(Low-shot Object Learning with Mutual Exclusivity Bias)を紹介する。
我々は、MLコミュニティがこの挑戦的な学習課題に対処できるように、新しいデータセット、包括的なベースライン、最先端の手法を提供する。
論文 参考訳（メタデータ） (2023-12-06T14:54:10Z) - Tiny Object Tracking: A Large-scale Dataset and A Baseline [40.93697515531104]
大規模なビデオデータセットを作成し、合計217Kフレームの434のシーケンスを含む。
データ作成において、幅広い視点とシーンの複雑さをカバーするため、12の課題属性を考慮に入れます。
統合されたフレームワークで3段階の知識蒸留を行うMKDNet(Multilevel Knowledge Distillation Network)を提案する。
論文 参考訳（メタデータ） (2022-02-11T15:00:32Z) - StandardSim: A Synthetic Dataset For Retail Environments [0.07874708385247352]
本稿では,意味的セグメンテーション,インスタンスセグメンテーション,深さ推定,オブジェクト検出のためのアノテーションを特徴とする大規模合成データセットを提案する。
私たちのデータセットはシーン毎に複数のビューを提供し、マルチビュー表現学習を可能にします。
我々は、データセットのセグメンテーションと深さ推定に広く使用されているモデルをベンチマークし、我々のテストセットが現在の小規模データセットと比較して難しいベンチマークを構成することを示す。
論文 参考訳（メタデータ） (2022-02-04T22:28:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。