論文の概要: An Evaluation of GPT-4V and Gemini in Online VQA
- arxiv url: http://arxiv.org/abs/2312.10637v2
- Date: Wed, 14 Feb 2024 03:49:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 19:10:41.198049
- Title: An Evaluation of GPT-4V and Gemini in Online VQA
- Title(参考訳): オンラインVQAにおけるGPT-4VとGeminiの評価
- Authors: Mengchen Liu, Chongyan Chen, Danna Gurari
- Abstract要約: GPT-4VとGeminiの2つの最先端LMMを,新しい視覚的質問応答データセットを用いて評価した。
約2000の視覚的質問に対して,7種類のメタデータを生成し,きめ細かい分析を行う。
ゼロショットのパフォーマンス分析では、両方のモデルで最も難しい質問のタイプを強調しています。
- 参考スコア(独自算出の注目度): 31.77015255871848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While there is much excitement about the potential of large multimodal models
(LMM), a comprehensive evaluation is critical to establish their true
capabilities and limitations. In support of this aim, we evaluate two
state-of-the-art LMMs, GPT-4V and Gemini, on a new visual question answering
dataset sourced from an authentic online question answering community. We
conduct fine-grained analysis by generating seven types of metadata for nearly
2,000 visual questions, such as image type and the required image processing
capabilities. Our zero-shot performance analysis highlights the types of
questions that are most challenging for both models, including questions
related to "puzzling" topic, with "Identification" user intention, with "Sheet
Music" image type, or labeled as "hard" by GPT-4.
- Abstract(参考訳): 大規模マルチモーダルモデル(LMM)の可能性には多くの興奮があるが、その真の能力と限界を確立するためには包括的評価が不可欠である。
この目的を達成するために,オンライン質問応答コミュニティから得られた新しい視覚的質問応答データセットを用いて,最先端のLMMであるGPT-4VとGeminiを評価した。
画像タイプや必要な画像処理機能など,約2000の視覚的質問に対して,7種類のメタデータを生成し,詳細な解析を行う。
ゼロショットパフォーマンス分析では,いずれのモデルでも最も難しい質問の種類が強調される。例えば, "puzzling" トピックに関連する質問, "identification" ユーザ意図,"sheet music" イメージタイプ,あるいは gpt-4 による "hard" というラベルがある。
関連論文リスト
- VISREAS: Complex Visual Reasoning with Unanswerable Questions [29.398956873585796]
本稿では,新しい視覚的質問応答データセットVISREASを紹介する。
それは、共通性とオブジェクト、属性、関係の差異をトラバースし、摂動することで構成される、応答可能で解決不可能なビジュアルクエリで構成されている。
このタスクのユニークな特徴は、回答する前のイメージに対する質問応答性を検証すること、そして最先端モデルの貧弱な性能が、新しいモジュラーベースラインであるLOGIC2VISIONの設計に影響を与えたことである。
論文 参考訳(メタデータ) (2024-02-23T00:12:10Z) - Vision-Flan: Scaling Human-Labeled Tasks in Visual Instruction Tuning [53.93074108238167]
現在までに最も多種多様なビジュアル・インストラクション・チューニング・データセットであるVision-Flanを構築している。
本稿では、VLMをVision-Flan上で微調整し、さらにGPT-4合成データに基づいて調整する2段階の命令チューニングフレームワークを提案する。
この2段階のチューニングフレームワークは、従来の1段階の視覚的チューニングフレームワークよりも大幅に優れています。
論文 参考訳(メタデータ) (2024-02-18T19:38:44Z) - CoCoT: Contrastive Chain-of-Thought Prompting for Large Multimodal
Models with Multiple Image Inputs [48.269363759989915]
この研究は、第1、画像対画像マッチング、第2、複数画像対テキストマッチングという2つの側面に焦点を当てている。
我々は, GPT-4V, Gemini, OpenFlamingo, MMICLを含む, オープンソースおよびクローズドソースの大規模モデルについて評価を行った。
論文 参考訳(メタデータ) (2024-01-05T00:26:07Z) - Gemini vs GPT-4V: A Preliminary Comparison and Combination of
Vision-Language Models Through Qualitative Cases [98.35348038111508]
本稿では,Google の Gemini と OpenAI の GPT-4V(ision) の2つのパイオニアモデルについて,詳細な比較研究を行った。
分析の核となるのは、各モデルの視覚的理解能力である。
両モデルのユニークな強みとニッチを照らし出した。
論文 参考訳(メタデータ) (2023-12-22T18:59:58Z) - GPT-4V-AD: Exploring Grounding Potential of VQA-oriented GPT-4V for Zero-shot Anomaly Detection [51.43589678946244]
本稿では、一般的な視覚異常検出(AD)タスクにおけるVQA指向のGPT-4Vの可能性について検討する。
MVTec ADとVisAデータセットで定性的かつ定量的な評価を行ったのは、これが初めてである。
論文 参考訳(メタデータ) (2023-11-05T10:01:18Z) - GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks [70.98062518872999]
我々は,GPT-4Vの性能評価,基本画像からテキストへの合成,高レベル画像から画像への変換,複数画像からテキストへのアライメントといったタスクに対処する能力を検証する。
特に、GPT-4Vは、様々なタスクや評価方法にまたがって人間と有望な合意を示し、マルチモーダルLCMを評価対象として持つ可能性を示している。
論文 参考訳(メタデータ) (2023-11-02T16:11:09Z) - ViCLEVR: A Visual Reasoning Dataset and Hybrid Multimodal Fusion Model
for Visual Question Answering in Vietnamese [1.6340299456362617]
ベトナムにおける様々な視覚的推論能力を評価するための先駆的な収集であるViCLEVRデータセットを紹介した。
我々は、現代の視覚的推論システムの包括的な分析を行い、その強みと限界についての貴重な洞察を提供する。
PhoVITは、質問に基づいて画像中のオブジェクトを識別する総合的なマルチモーダル融合である。
論文 参考訳(メタデータ) (2023-10-27T10:44:50Z) - Solution for SMART-101 Challenge of ICCV Multi-modal Algorithmic
Reasoning Task 2023 [13.326745559876558]
本稿では,マルチモーダルなアルゴリズム推論タスクSMART-101 Challengeを提案する。
この課題は、視覚言語パズルの解法におけるニューラルネットワークの抽象化、推論、一般化能力を評価する。
パズル分割構成では、検証セットで26.5、プライベートテストセットで24.30の精度スコアを得た。
論文 参考訳(メタデータ) (2023-10-10T09:12:27Z) - Guiding Visual Question Generation [40.56637275354495]
従来の視覚質問生成(VQG)では、ほとんどの画像は、質問を生成できる複数の概念を持っている。
本稿では,カテゴリ情報に基づいて質問生成を行うVQGの変種である案内視覚質問生成について述べる。
論文 参考訳(メタデータ) (2021-10-15T17:38:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。