Fugu-MT 論文翻訳(概要): CompBench: A Comparative Reasoning Benchmark for Multimodal LLMs

論文の概要: CompBench: A Comparative Reasoning Benchmark for Multimodal LLMs

arxiv url: http://arxiv.org/abs/2407.16837v1
Date: Tue, 23 Jul 2024 21:02:38 GMT
ステータス: 処理完了
システム内更新日: 2024-07-25 15:32:29.534061
Title: CompBench: A Comparative Reasoning Benchmark for Multimodal LLMs
Title（参考訳）: CompBench: マルチモーダルLLMの比較推論ベンチマーク
Authors: Jihyung Kil, Zheda Mai, Justin Lee, Zihe Wang, Kerrie Cheng, Lemeng Wang, Ye Liu, Arpita Chowdhury, Wei-Lun Chao,
Abstract要約: CompBenchはマルチモーダル大言語モデル(MLLM)の比較推論能力を評価するために設計されたベンチマークである。 CompBenchは、相対比較の8次元をカバーする視覚的指向の質問を通じて画像をマイニングし、ペア化する。我々はCompBenchを用いて、GPT-4V(ision), Gemini-Pro, LLaVA-1.6を含む最近のMLLMを評価する。
参考スコア（独自算出の注目度）: 24.944100288489853
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The ability to compare objects, scenes, or situations is crucial for effective decision-making and problem-solving in everyday life. For instance, comparing the freshness of apples enables better choices during grocery shopping, while comparing sofa designs helps optimize the aesthetics of our living space. Despite its significance, the comparative capability is largely unexplored in artificial general intelligence (AGI). In this paper, we introduce CompBench, a benchmark designed to evaluate the comparative reasoning capability of multimodal large language models (MLLMs). CompBench mines and pairs images through visually oriented questions covering eight dimensions of relative comparison: visual attribute, existence, state, emotion, temporality, spatiality, quantity, and quality. We curate a collection of around 40K image pairs using metadata from diverse vision datasets and CLIP similarity scores. These image pairs span a broad array of visual domains, including animals, fashion, sports, and both outdoor and indoor scenes. The questions are carefully crafted to discern relative characteristics between two images and are labeled by human annotators for accuracy and relevance. We use CompBench to evaluate recent MLLMs, including GPT-4V(ision), Gemini-Pro, and LLaVA-1.6. Our results reveal notable shortcomings in their comparative abilities. We believe CompBench not only sheds light on these limitations but also establishes a solid foundation for future enhancements in the comparative capability of MLLMs.
Abstract（参考訳）: オブジェクト、シーン、状況を比較する能力は、日常生活における効果的な意思決定と問題解決に不可欠である。例えば、リンゴの鮮度を比較することで、食料品の買い物中により良い選択ができる一方で、ソファのデザインを比較することは、私たちの生活空間の美学を最適化するのに役立ちます。その重要性にもかかわらず、比較能力は人工知能(AGI)ではほとんど探索されていない。本稿では,マルチモーダル大規模言語モデル(MLLM)の比較推論能力を評価するためのベンチマークであるCompBenchを紹介する。 CompBenchは、視覚的属性、存在、状態、感情、時間性、空間性、量、品質の8つの次元を網羅する視覚的指向の質問を通して画像をマイニングし、ペア化する。様々な視覚データセットとCLIP類似度スコアのメタデータを用いて、約40Kの画像ペアのコレクションをキュレートする。これらのイメージペアは、動物、ファッション、スポーツ、屋外と屋内の両方のシーンを含む、幅広い視覚領域にまたがる。これらの質問は、2つの画像間の相対的な特徴を識別するために慎重に作成され、精度と関連性のために人間のアノテータによってラベル付けされる。我々はCompBenchを用いて、GPT-4V(ision), Gemini-Pro, LLaVA-1.6を含む最近のMLLMを評価する。以上の結果から, 比較能力に顕著な欠点が認められた。 CompBench はこれらの制限に光を当てるだけでなく,MLLM の比較能力の向上のための基盤も確立している,と私たちは信じています。

関連論文リスト

Do Multimodal Large Language Models See Like Humans? [50.938168841711445]
MLLM(Multimodal Large Language Models)は、様々なビジョンタスクにおいて、近年の大規模言語モデルの進歩を生かして、印象的な成果を上げている。 MLLMは人間と同じような視覚情報を知覚しているか? HVSBenchは、人間の視覚を反映する基本的な視覚タスクにおいて、MLLMと人間の視覚システム(HVS)の整合性を評価するために設計された大規模なベンチマークである。
論文参考訳（メタデータ） (2024-12-12T18:59:25Z)
MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
論文参考訳（メタデータ） (2024-10-16T07:52:57Z)
Visualization Literacy of Multimodal Large Language Models: A Comparative Study [12.367399155606162]
MLLM(Multimodal large language model)は、MLLM(Multimodal large language model)とLLM(LLM)の固有の能力を組み合わせて、マルチモーダルコンテキストを推論する。ビジュアライゼーションにおける最近の多くの研究は、可視化結果を理解し、解釈し、自然言語のユーザに対して視覚化の内容を説明するMLLMの能力を実証している。本研究では,可視化リテラシーの概念を利用してMLLMを評価することにより,そのギャップを埋めることを目的とする。
論文参考訳（メタデータ） (2024-06-24T17:52:16Z)
Dense Connector for MLLMs [89.50595155217108]
Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
論文参考訳（メタデータ） (2024-05-22T16:25:03Z)
MileBench: Benchmarking MLLMs in Long Context [31.211260223575092]
MLLMのMultImodal Long-contExt機能をテストするためのベンチマークであるMileBenchを紹介する。 MLLMの長文適応能力と長文シナリオにおけるタスク完了能力を体系的に評価する。その結果、オープンソースGPT-4oは他よりも優れているが、ほとんどのオープンソースMLLMは長期的文脈で苦労していることがわかった。
論文参考訳（メタデータ） (2024-04-29T09:19:05Z)
Q-Bench+: A Benchmark for Multi-modal Foundation Models on Low-level Vision from Single Images to Pairs [71.07108539262721]
低レベルの視覚に関連する人間の言語応答をエミュレートするためのベンチマーク設定を設計する。我々は,MLLMの低レベルの認識関連質問応答と記述評価を,単一画像から画像ペアへ拡張する。複数のMLLMが単一の画像に対して十分な低レベルの視覚能力を持つことを示したが、GPT-4Vのみが人間よりも高い精度で比較できる。
論文参考訳（メタデータ） (2024-02-11T06:44:11Z)
The Instinctive Bias: Spurious Images lead to Illusion in MLLMs [34.91795817316696]
MLLMは、非常に関連性が高いが、応答に矛盾する画像で構成されている。本稿では,スプリアス画像の視覚錯視レベルを評価する最初のベンチマークである相関QAを提案する。我々は9つの主流MLLMについて徹底的な分析を行い、これらの本能バイアスが様々な程度に普遍的に悩まされていることを指摘した。
論文参考訳（メタデータ） (2024-02-06T06:48:46Z)
Mementos: A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences [80.54979242912944]
本稿では,MLLMの逐次画像推論能力を評価するためのベンチマークであるMementosを紹介する。 MLLMは与えられた画像列の動的情報を正確に記述するのに苦労しており、しばしば幻覚/誤表現につながる。
論文参考訳（メタデータ） (2024-01-19T07:10:13Z)
AesBench: An Expert Benchmark for Multimodal Large Language Models on Image Aesthetics Perception [64.25808552299905]
AesBenchはMLLMの審美的知覚能力の総合評価を目的とした専門家ベンチマークである。本稿では,プロの審美専門家が提供した多彩な画像内容と高品質なアノテーションを特徴とするEAPD(Expert-labeled Aesthetics Perception Database)を構築した。本稿では,知覚(AesP),共感(AesE),評価(AesA),解釈(AesI)の4つの視点からMLLMの審美的知覚能力を測定するための統合的基準を提案する。
論文参考訳（メタデータ） (2024-01-16T10:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。