論文の概要: An Evaluation of GPT-4V and Gemini in Online VQA

• arxiv url: http://arxiv.org/abs/2312.10637v1
• Date: Sun, 17 Dec 2023 07:38:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 15:19:06.884413
• Title: An Evaluation of GPT-4V and Gemini in Online VQA
• Title（参考訳）: オンラインVQAにおけるGPT-4VとGeminiの評価
• Authors: Mengchen Liu, Chongyan Chen
• Abstract要約: 我々は、VQAonlineデータセットを用いて、最先端のLMM、すなわちGPT-4VとGeminiを評価した。 VQAonlineは、さまざまな日常ユーザから得られたエンドツーエンドの認証VQAデータセットである。
• 参考スコア（独自算出の注目度）: 20.061920330289286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A comprehensive evaluation is critical to assess the capabilities of large multimodal models (LMM). In this study, we evaluate the state-of-the-art LMMs, namely GPT-4V and Gemini, utilizing the VQAonline dataset. VQAonline is an end-to-end authentic VQA dataset sourced from a diverse range of everyday users. Compared previous benchmarks, VQAonline well aligns with real-world tasks. It enables us to effectively evaluate the generality of an LMM, and facilitates a direct comparison with human performance. To comprehensively evaluate GPT-4V and Gemini, we generate seven types of metadata for around 2,000 visual questions, such as image type and the required image processing capabilities. Leveraging this array of metadata, we analyze the zero-shot performance of GPT-4V and Gemini, and identify the most challenging questions for both models.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)の能力を総合的に評価することが重要である。 本研究では,VQAonline データセットを用いて,GPT-4V と Gemini の最先端 LMM の評価を行った。 VQAonlineは、さまざまな日常ユーザから得られたエンドツーエンドの認証VQAデータセットである。 以前のベンチマークと比較すると、VQAonlineは現実世界のタスクとよく一致している。 これにより,LMMの汎用性を効果的に評価し,人的性能と直接比較することができる。 GPT-4VとGeminiを総合的に評価するために,画像タイプや必要な画像処理機能など約2000の視覚的質問に対して,7種類のメタデータを生成する。 このメタデータを活用することで,gpt-4vとgeminiのゼロショット性能を分析し,両モデルにとって最も難しい問題を特定する。

関連論文リスト

• VQA$^2$:Visual Question Answering for Video Quality Assessment [76.81110038738699]
  ビデオ品質アセスメントは、もともとは定量的ビデオ品質アセスメントに重点を置いていた。 現在は、より包括的な視覚的品質理解タスクへと進化している。 本稿では,映像品質評価に焦点をあてた視覚的質問応答指導データセットについて紹介する。 映像品質評価と映像品質理解の両課題について広範な実験を行った。
  論文  参考訳（メタデータ） (2024-11-06T09:39:52Z)
• MM-Vet v2: A Challenging Benchmark to Evaluate Large Multimodal Models for Integrated Capabilities [146.4724093405187]
  MM-Vet v2は、"image-text sequence understanding"と呼ばれる新しい"image-text sequence understanding"機能を含んでいる。 MM-Vet v2を用いて大規模マルチモーダルモデルのベンチマークを行った結果,Claude 3.5 Sonnetはスコア71.8の最良のモデルであり,スコア71.0のGPT-4oより若干優れていた。
  論文  参考訳（メタデータ） (2024-08-01T17:59:54Z)
• Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
  Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。 Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。 コントリビューションの中心は、QGround-100Kデータセットの導入です。
  論文  参考訳（メタデータ） (2024-07-24T06:42:46Z)
• VISREAS: Complex Visual Reasoning with Unanswerable Questions [29.398956873585796]
  本稿では,新しい視覚的質問応答データセットVISREASを紹介する。 それは、共通性とオブジェクト、属性、関係の差異をトラバースし、摂動することで構成される、応答可能で解決不可能なビジュアルクエリで構成されている。 このタスクのユニークな特徴は、回答する前のイメージに対する質問応答性を検証すること、そして最先端モデルの貧弱な性能が、新しいモジュラーベースラインであるLOGIC2VISIONの設計に影響を与えたことである。
  論文  参考訳（メタデータ） (2024-02-23T00:12:10Z)
• Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases [98.35348038111508]
  本稿では,Google の Gemini と OpenAI の GPT-4V(ision) の2つのパイオニアモデルについて,詳細な比較研究を行った。 分析の核となるのは、各モデルの視覚的理解能力である。 両モデルのユニークな強みとニッチを照らし出した。
  論文  参考訳（メタデータ） (2023-12-22T18:59:58Z)
• GPT-4V-AD: Exploring Grounding Potential of VQA-oriented GPT-4V for Zero-shot Anomaly Detection [51.43589678946244]
  本稿では、一般的な視覚異常検出(AD)タスクにおけるVQA指向のGPT-4Vの可能性について検討する。 MVTec ADとVisAデータセットで定性的かつ定量的な評価を行ったのは、これが初めてである。
  論文  参考訳（メタデータ） (2023-11-05T10:01:18Z)
• GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks [70.98062518872999]
  我々は,GPT-4Vの性能評価,基本画像からテキストへの合成,高レベル画像から画像への変換,複数画像からテキストへのアライメントといったタスクに対処する能力を検証する。 特に、GPT-4Vは、様々なタスクや評価方法にまたがって人間と有望な合意を示し、マルチモーダルLCMを評価対象として持つ可能性を示している。
  論文  参考訳（メタデータ） (2023-11-02T16:11:09Z)
• Solution for SMART-101 Challenge of ICCV Multi-modal Algorithmic Reasoning Task 2023 [13.326745559876558]
  本稿では,マルチモーダルなアルゴリズム推論タスクSMART-101 Challengeを提案する。 この課題は、視覚言語パズルの解法におけるニューラルネットワークの抽象化、推論、一般化能力を評価する。 パズル分割構成では、検証セットで26.5、プライベートテストセットで24.30の精度スコアを得た。
  論文  参考訳（メタデータ） (2023-10-10T09:12:27Z)
• Guiding Visual Question Generation [40.56637275354495]
  従来の視覚質問生成(VQG)では、ほとんどの画像は、質問を生成できる複数の概念を持っている。 本稿では,カテゴリ情報に基づいて質問生成を行うVQGの変種である案内視覚質問生成について述べる。
  論文  参考訳（メタデータ） (2021-10-15T17:38:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。