論文の概要: Visual Riddles: a Commonsense and World Knowledge Challenge for Large Vision and Language Models

• arxiv url: http://arxiv.org/abs/2407.19474v1
• Date: Sun, 28 Jul 2024 11:56:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 18:02:25.074468
• Title: Visual Riddles: a Commonsense and World Knowledge Challenge for Large Vision and Language Models
• Title（参考訳）: Visual Riddles: 大規模ビジョンと言語モデルのための常識と世界知識の挑戦
• Authors: Nitzan Bitton-Guetta, Aviv Slobodkin, Aviya Maimon, Eliya Habba, Royi Rassin, Yonatan Bitton, Idan Szpektor, Amir Globerson, Yuval Elovici,
• Abstract要約: このベンチマークは、常識と世界知識を必要とする視覚的謎の視覚モデルと言語モデルをテストすることを目的としたものだ。 ベンチマークは400の視覚的謎で構成されており、それぞれが様々なテキスト・画像モデル、質問、接地真実回答、テキスト・ヒント、属性によって生成されるユニークなイメージを特徴としている。 Gemini-Pro-1.5は40%の精度で、既存のモデルは82%の精度で人間のパフォーマンスにかなり遅れている。
• 参考スコア（独自算出の注目度）: 40.41276154014666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Imagine observing someone scratching their arm; to understand why, additional context would be necessary. However, spotting a mosquito nearby would immediately offer a likely explanation for the person's discomfort, thereby alleviating the need for further information. This example illustrates how subtle visual cues can challenge our cognitive skills and demonstrates the complexity of interpreting visual scenarios. To study these skills, we present Visual Riddles, a benchmark aimed to test vision and language models on visual riddles requiring commonsense and world knowledge. The benchmark comprises 400 visual riddles, each featuring a unique image created by a variety of text-to-image models, question, ground-truth answer, textual hint, and attribution. Human evaluation reveals that existing models lag significantly behind human performance, which is at 82\% accuracy, with Gemini-Pro-1.5 leading with 40\% accuracy. Our benchmark comes with automatic evaluation tasks to make assessment scalable. These findings underscore the potential of Visual Riddles as a valuable resource for enhancing vision and language models' capabilities in interpreting complex visual scenarios.
• Abstract（参考訳）: 誰かが腕を掻く様子を想像してみてください。 しかし、近くに蚊を見つけると、すぐに人の不快感が説明され、さらなる情報の必要性が軽減される。 この例は、視覚的手がかりが私たちの認知スキルにどのように挑戦するかを示し、視覚的シナリオを解釈する複雑さを示しています。 これらのスキルを研究するために,視覚と言語モデルをテストするためのベンチマークであるVisual Riddlesを紹介した。 ベンチマークは400の視覚的謎で構成されており、それぞれが様々なテキスト・画像モデル、質問、接地真実回答、テキスト・ヒント、属性によって生成されるユニークなイメージを特徴としている。 Gemini-Pro-1.5は40%の精度で、既存のモデルは82倍の精度で人間のパフォーマンスにかなり遅れている。 私たちのベンチマークには,評価をスケーラブルにするための自動評価タスクが付属しています。 これらの知見は、複雑な視覚シナリオの解釈における視覚と言語モデルの能力を高めるための貴重なリソースとして、Visual Riddlesの可能性を浮き彫りにしている。

関連論文リスト

• Can visual language models resolve textual ambiguity with visual cues? Let visual puns tell you! [14.84123301554462]
  語彙的曖昧さの解消におけるマルチモーダル入力の影響を評価するための新しいベンチマークUNPIEを提案する。 私たちのデータセットには1,000個の句が含まれており、それぞれに両方の意味を説明する画像が添付されています。 その結果,様々なソクラティック・モデルとビジュアル・ランゲージ・モデルにより,視覚的コンテキストが与えられた場合に,テキストのみのモデルよりも改善されることが示された。
  論文  参考訳（メタデータ） (2024-10-01T19:32:57Z)
• Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models [37.44286562901589]
  本研究では,空間推論の多様な側面をカバーする新しいベンチマークであるSpatialEvalを提案する。 我々は、競合する言語と視覚言語モデルを総合的に評価する。 文献で見過ごされてきたいくつかの反直感的な洞察が明らかとなった。
  論文  参考訳（メタデータ） (2024-06-21T03:53:37Z)
• ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models [92.60282074937305]
  テキストリッチな画像に対して文脈に敏感な推論を必要とする人為的な命令を特徴とする新しいデータセットであるConTextualを紹介した。 そこで本研究では,14の基盤モデルの性能評価実験を行い,人為的な性能基準を確立する。 GPT-4Vとヒトのパフォーマンスの30.8%の有意な性能差を観察した。
  論文  参考訳（メタデータ） (2024-01-24T09:07:11Z)
• Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
  人間は簡潔で直感的な説明を使って予測を説明することができる。 特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T00:24:42Z)
• Learning the Visualness of Text Using Large Vision-Language Models [42.75864384249245]
  視覚的テキストは人の心の中のイメージを誘発するが、視覚的でないテキストはそれを起こさない。 テキスト内の視覚を自動的に検出する手法により、テキスト・ツー・イメージ検索と生成モデルにより、関連する画像でテキストを拡張できる。 我々は,3,620の英語文のデータセットと,複数のアノテータによって提供されるその視覚性スコアをキュレートする。
  論文  参考訳（メタデータ） (2023-05-11T17:45:16Z)
• Vision-Language Models in Remote Sensing: Current Progress and Future Trends [25.017685538386548]
  視覚言語モデルは、画像とその関連するテキスト記述の推論を可能にし、基礎となるセマンティクスのより深い理解を可能にする。 視覚言語モデルは、RS画像の視覚的認識を超えて、意味的関係をモデル化し、画像の自然言語記述を生成することができる。 本稿では,リモートセンシングにおける視覚言語モデルの研究を包括的にレビューする。
  論文  参考訳（メタデータ） (2023-05-09T19:17:07Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Leveraging Visual Knowledge in Language Tasks: An Empirical Study on Intermediate Pre-training for Cross-modal Knowledge Transfer [61.34424171458634]
  視覚的知識を言語モデルに組み込むことがギャップを埋めるかどうかを検討する。 実験の結果,視覚的知識伝達は低リソース環境と完全教師付き環境の両方で性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2022-03-14T22:02:40Z)
• From Two to One: A New Scene Text Recognizer with Visual Language Modeling Network [70.47504933083218]
  本稿では,視覚情報と言語情報を結合として見る視覚言語モデリングネットワーク(VisionLAN)を提案する。 VisionLANは39%のスピード向上を実現し、正確な認識のための視覚的特徴を高めるために言語情報を適応的に検討する。
  論文  参考訳（メタデータ） (2021-08-22T07:56:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。