論文の概要: Hidden in Plain Sight: Evaluating Abstract Shape Recognition in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2411.06287v1
• Date: Sat, 09 Nov 2024 21:10:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:09:26.080989
• Title: Hidden in Plain Sight: Evaluating Abstract Shape Recognition in Vision-Language Models
• Title（参考訳）: 平面視に隠れた視覚・言語モデルにおける抽象的形状認識の評価
• Authors: Arshia Hemmat, Adam Davies, Tom A. Lamb, Jianhao Yuan, Philip Torr, Ashkan Khakzar, Francesco Pinto,
• Abstract要約: IllusionBenchは、現在の最先端のVision-Language Modelに挑戦して、形状情報を解読するデータセットである。 我々の評価では、これらの形状はヒトのアノテータによって容易に検出できるが、現在のVLMは認識に苦慮している。
• 参考スコア（独自算出の注目度）: 12.885931057789147
• License:
• Abstract: Despite the importance of shape perception in human vision, early neural image classifiers relied less on shape information for object recognition than other (often spurious) features. While recent research suggests that current large Vision-Language Models (VLMs) exhibit more reliance on shape, we find them to still be seriously limited in this regard. To quantify such limitations, we introduce IllusionBench, a dataset that challenges current cutting-edge VLMs to decipher shape information when the shape is represented by an arrangement of visual elements in a scene. Our extensive evaluations reveal that, while these shapes are easily detectable by human annotators, current VLMs struggle to recognize them, indicating important avenues for future work in developing more robust visual perception systems. The full dataset and codebase are available at: \url{https://arshiahemmat.github.io/illusionbench/}
• Abstract（参考訳）: 人間の視覚における形状認識の重要性にもかかわらず、初期の神経画像分類器は、他の(しばしば刺激的な)特徴よりも、物体認識のための形状情報に頼らなかった。 近年の研究では、現在のVLM(Vision-Language Models)は形状に依存していることが示唆されているが、この点では依然として極めて限定的である。 このような制限を定量化するために,シーン内の視覚要素の配置によって形状が表現されるときに,現在の最先端のVLMに挑戦するデータセットIllusionBenchを導入する。 我々の広範な評価では、これらの形状は人間のアノテーションによって容易に検出できるが、現在のVLMは認識に苦慮しており、より堅牢な視覚認識システムを開発するための重要な道のりが示されている。 完全なデータセットとコードベースは以下の通りである。

関連論文リスト

• Context-Based Visual-Language Place Recognition [4.737519767218666]
  視覚に基づく位置認識に対する一般的なアプローチは、低レベルの視覚的特徴に依存している。 シーン変更に対して堅牢で,追加のトレーニングを必要としない,新しいVPRアプローチを導入する。 ゼロショット・言語駆動セマンティックセグメンテーションモデルを用いて画素レベルの埋め込みを抽出し,セマンティックイメージ記述子を構築する。
  論文  参考訳（メタデータ） (2024-10-25T06:59:11Z)
• Learning Object-Centric Representation via Reverse Hierarchy Guidance [73.05170419085796]
  OCL(Object-Centric Learning)は、ニューラルネットワークが視覚的なシーンで個々のオブジェクトを識別できるようにする。 RHGNetは、トレーニングと推論プロセスにおいて、さまざまな方法で機能するトップダウンパスを導入している。 我々のモデルは、よく使われる複数のデータセット上でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2024-05-17T07:48:27Z)
• Visual Data-Type Understanding does not emerge from Scaling Vision-Language Models [31.69213233651326]
  視覚データ型識別の新しい課題について紹介する。 39の視覚言語モデル(VLM)の広範囲なゼロショット評価は、微妙なパフォーマンスランドスケープを示している。
  論文  参考訳（メタデータ） (2023-10-12T17:59:30Z)
• GeoVLN: Learning Geometry-Enhanced Visual Representation with Slot Attention for Vision-and-Language Navigation [52.65506307440127]
  我々は,ロバストなビジュアル・アンド・ランゲージナビゲーションのためのスロットアテンションに基づく幾何学的視覚表現を学習するGeoVLNを提案する。 我々はV&L BERTを用いて言語情報と視覚情報の両方を組み込んだクロスモーダル表現を学習する。
  論文  参考訳（メタデータ） (2023-05-26T17:15:22Z)
• Vision-Language Models for Vision Tasks: A Survey [62.543250338410836]
  視覚言語モデル(VLM)は、Webスケールの画像テキストペアからリッチな視覚言語相関を学習する。 本稿では,視覚認知タスクにおける視覚言語モデルの体系的レビューを行う。
  論文  参考訳（メタデータ） (2023-04-03T02:17:05Z)
• VIPHY: Probing "Visible" Physical Commonsense Knowledge [22.00069189468524]
  視覚言語モデル(VLM)は視覚的推論タスクにおいて顕著な性能を示した。 視覚的」身体的知識を習得する能力を評価する。 以上の結果から,モデルと人的パフォーマンスの間には深刻なギャップがあることが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T02:06:25Z)
• Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
  ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。 以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
  論文  参考訳（メタデータ） (2022-07-25T17:58:16Z)
• A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
  視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。 視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩 我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
  論文  参考訳（メタデータ） (2021-11-29T17:49:24Z)
• Cloud based Scalable Object Recognition from Video Streams using Orientation Fusion and Convolutional Neural Networks [11.44782606621054]
  畳み込みニューラルネットワーク(CNN)は、インテリジェントな視覚オブジェクト認識を行うために広く利用されている。 CNNはいまだに深刻な精度低下、特に照明変動データセットに悩まされている。 視覚オブジェクト認識のための方向融合に基づく新しいCNN手法を提案する。
  論文  参考訳（メタデータ） (2021-06-19T07:15:15Z)
• Recognizing Actions in Videos from Unseen Viewpoints [80.6338404141284]
  本研究では,現在の畳み込みニューラルネットワークモデルでは,トレーニングデータに存在しないカメラ視点からの動作を認識できないことを示す。 視認不能な認識のための新しいデータセットを導入し、視点不変表現を学習するアプローチ能力を示す。
  論文  参考訳（メタデータ） (2021-03-30T17:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。