論文の概要: Can Multimodal LLMs Solve the Basic Perception Problems of Percept-V?

• arxiv url: http://arxiv.org/abs/2508.21143v1
• Date: Thu, 28 Aug 2025 18:22:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.845757
• Title: Can Multimodal LLMs Solve the Basic Perception Problems of Percept-V?
• Title（参考訳）: マルチモーダルLLMは知覚Vの基本認識問題を解くことができるか?
• Authors: Samrajnee Ghosh, Naman Agarwal, Hemanshu Garg, Chinmay Mittal, Mausam, Parag Singla,
• Abstract要約: 本稿では、7200のプログラム生成画像を含むデータセットPercept-Vを紹介し、30のカテゴリに等しく分割する。 知覚-Vは、MLLMの知覚能力をテストする様々な複雑さの非常に基本的なタスクから構成される。 このデータセットは、GPT-4o、Gemini、Claudeのような最先端のMLLMとOpenAI o4-miniやDeepSeek R1のようなLarge Reasoning Models(LRM)でテストされ、パフォーマンスを測定する。
• 参考スコア（独自算出の注目度）: 23.22049250636057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reasoning abilities of Multimodal Large Language Models (MLLMs) have garnered a lot of attention in recent times, with advances made in frontiers like coding, mathematics, and science. However, very limited experiments have been done to assess their performance in simple perception tasks performed over uncontaminated, generated images containing basic shapes and structures. To address this issue, the paper introduces a dataset, Percept-V, containing a total of 7200 program-generated images equally divided into 30 categories, each testing a combination of visual perception skills. Unlike previously proposed datasets, Percept-V comprises very basic tasks of varying complexity that test the perception abilities of MLLMs. This dataset is then tested on state-of-the-art MLLMs like GPT-4o, Gemini, and Claude as well as Large Reasoning Models (LRMs) like OpenAI o4-mini and DeepSeek R1 to gauge their performance. Contrary to the evidence that MLLMs excel in many complex tasks, our experiments show a significant drop in the models' performance with increasing problem complexity across all categories. An analysis of the performances also reveals that the tested MLLMs exhibit a similar trend in accuracy across categories, testing a particular cognitive skill and find some skills to be more difficult than others.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の推論能力は、コーディング、数学、科学といったフロンティアにおける進歩とともに、近年多くの注目を集めている。 しかし, 基本形状と構造を含む非汚染画像に対して行われる単純な知覚タスクにおいて, それらの性能を評価するために, 非常に限定的な実験が実施されている。 この問題に対処するために,約7200個のプログラム生成画像を含むデータセットPercept-Vを紹介した。 以前提案されたデータセットとは異なり、Percept-VはMLLMの知覚能力をテストする様々な複雑さの非常に基本的なタスクで構成されている。 このデータセットは、GPT-4o、Gemini、Claudeのような最先端のMLLMとOpenAI o4-miniやDeepSeek R1のようなLarge Reasoning Models(LRM)でテストされ、パフォーマンスを測定する。 MLLMが多くの複雑なタスクで優れているという証拠とは対照的に、我々の実験ではモデルの性能が著しく低下し、すべてのカテゴリで問題が複雑になる。 パフォーマンスの分析の結果、テストされたMLLMは、カテゴリ間での精度の類似した傾向を示し、特定の認知スキルをテストし、他のものよりも難しいスキルを見つけていることが明らかとなった。

関連論文リスト

• Toward Cognitive Supersensing in Multimodal Large Language Model [67.15559571626747]
  我々は,MLLMに人間のような視覚的特徴を付与する訓練パラダイムであるCognitive Supersensingを紹介する。 実験では、CogSense-BenchでCognitive Supersensingを訓練したMLLMが、最先端のベースラインを大きく上回った。 私たちはCogSense-Benchとモデルウェイトをオープンソースにします。
  論文  参考訳（メタデータ） (2026-02-02T02:19:50Z)
• Visual Room 2.0: Seeing is Not Understanding for MLLMs [9.870930749379932]
  MLLMの知覚認識アライメントを評価するための階層的ベンチマークであるtextitVisual Room 2.0 を紹介する。 人間の知覚と認知のプロセスは、低、中、高の3段階にわたってモデル化され、17の代表的なタスクをカバーしています。 データセットには350のマルチモーダルサンプルが含まれており、それぞれ6つのプログレッシブな質問(合計2,100件)が認識から認知に分散している。
  論文  参考訳（メタデータ） (2025-11-17T03:34:52Z)
• Artificial Phantasia: Evidence for Propositional Reasoning-Based Mental Imagery in Large Language Models [0.0]
  この研究は、人工システムにおける複雑な認知行動のベンチマークのための新しいアプローチを提供する。 私たちは認知心理学から古典的な精神イメージタスクの新しいアイテムを何十個も作成しました。 その結果,最高のLDMは平均的な人的パフォーマンスよりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-09-27T04:36:12Z)
• Pixels, Patterns, but No Poetry: To See The World like Humans [33.773551676022514]
  最先端のMLLMは、人間にとって簡単な私たちの知覚上のタスクに破滅的な失敗を示します。 この論文は、推論から知覚へと焦点を移す。
  論文  参考訳（メタデータ） (2025-07-21T21:50:16Z)
• Do You See Me : A Multidimensional Benchmark for Evaluating Visual Perception in Multimodal LLMs [9.951669153984708]
  Do You See Me"は,1,758のイメージと2,612の質問を備えた,スケーラブルなベンチマークである。 人間は96.49%の精度を達成し、トップMLLMは50%以下である。 これは、真に堅牢な視覚知覚を持つMLLMに対して、緊急の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-28T13:31:32Z)
• Grounded Chain-of-Thought for Multimodal Large Language Models [66.04061083611863]
  我々は,GCoT(Gunded Chain-of-Thought)と呼ばれるマルチモーダル大規模言語モデル(MLLM)の新しい学習タスクを提案する。 GCoTは、MLLMが関連する視覚的手がかりを段階的に認識し、グラウンド化するのを支援し、グラウンド化座標による正しい解を直感的に予測する。 この作業を容易にするために,5,033画像に対して24,022 GCoT例からなるマルチモーダルグラウンドド・チェーン・オブ・ソート(MM-GCoT)と呼ばれるデータセットを慎重に設計し,構築する。
  論文  参考訳（メタデータ） (2025-03-17T04:07:47Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• Explore the Hallucination on Low-level Perception for MLLMs [83.12180878559295]
  低レベルの視覚知覚と理解タスクにおけるMLLMの自己認識性を定義し,評価することを目的としている。 低レベルの視覚に対する人間の反応をシミュレートするベンチマーク設定であるQL-Benchを提案する。 いくつかのモデルでは、ロバストな低レベル視覚能力を示すが、その自己認識性は比較的未発達である。
  論文  参考訳（メタデータ） (2024-09-15T14:38:29Z)
• What is the Visual Cognition Gap between Humans and Multimodal LLMs? [63.81347276258992]
  MLLM(Multimodal Large Language Models)の視覚認知能力を評価し,その性能を人間の視覚認知研究と比較した。 我々の比較実験では、MLLMと人間の知能のギャップが明らかになっている。 我々は,MaRs-VQAとQwen2-VCogベースラインモデルの公開が,人間の視覚認知能力を持つ次世代MLLMに向けて進展をもたらすと考えている。
  論文  参考訳（メタデータ） (2024-06-14T22:02:21Z)
• TopViewRS: Vision-Language Models as Top-View Spatial Reasoners [38.406430696146714]
  トップビューの視点は、人間が様々な種類の地図を読み、推論する典型的な方法である。 11,384の質問からなるTopViewRSデータセットを視覚入力として,現実的あるいは意味的なトップビューマップで紹介する。 次に、異なるレベルの複雑さを持つ4つの知覚と推論タスクにわたるVLMの研究と評価に使用します。
  論文  参考訳（メタデータ） (2024-06-04T17:55:43Z)
• MARVEL: Multidimensional Abstraction and Reasoning through Visual Evaluation and Learning [22.440669015518015]
  マルチモーダル大言語モデル(MLLM)が抽象的な視覚的推論能力を持っているかどうかを評価する。 スドゥークパズルと同様に、抽象的視覚推論(AVR)問題は高レベルのパターンを見つける必要がある。 6つのコア知識パターン,幾何学的および抽象的形状,5つのタスク構成からなる770個のMLLMのベンチマークであるMARVELを紹介する。
  論文  参考訳（メタデータ） (2024-04-21T09:15:02Z)
• Mind's Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models [71.93366651585275]
  大規模言語モデル(LLM)は、言語理解と様々な推論タスクにおいて印象的な性能を示した。 本稿では,LLMの空間的推論を視覚的に行うために,VoT(Visual-of-Thought)を提案する。 VoTはLLMの空間的推論能力を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-04T17:45:08Z)
• Mementos: A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences [80.54979242912944]
  本稿では,MLLMの逐次画像推論能力を評価するためのベンチマークであるMementosを紹介する。 MLLMは与えられた画像列の動的情報を正確に記述するのに苦労しており、しばしば幻覚/誤表現につながる。
  論文  参考訳（メタデータ） (2024-01-19T07:10:13Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• TouchStone: Evaluating Vision-Language Models by Language Models [91.69776377214814]
  本稿では,LVLMの様々な能力を総合的に評価するために,強大な言語モデルを用いた評価手法を提案する。 オープンワールドイメージと質問からなる包括的ビジュアル対話データセットTouchStoneを構築し,5つの主要な機能カテゴリと27のサブタスクをカバーした。 GPT-4のような強力なLVLMは、テキスト機能のみを活用することで、対話品質を効果的に評価できることを実証する。
  論文  参考訳（メタデータ） (2023-08-31T17:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。