論文の概要: The Percept-V Challenge: Can Multimodal LLMs Crack Simple Perception Problems?

• arxiv url: http://arxiv.org/abs/2508.21143v2
• Date: Wed, 08 Oct 2025 07:49:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 14:21:18.110968
• Title: The Percept-V Challenge: Can Multimodal LLMs Crack Simple Perception Problems?
• Title（参考訳）: パーセプションVの課題:マルチモーダルLLMは単純なパーセプション問題に対処できるか?
• Authors: Samrajnee Ghosh, Naman Agarwal, Hemanshu Garg, Chinmay Mittal, Mausam, Parag Singla,
• Abstract要約: 6000個のプログラム生成された未汚染画像を含むデータセットであるPercept-Vを30の領域に分割した。 そのため、ドメインを極めてシンプルにし、それを解決するのに必要な推論と知識を最小限にします。 我々の考えに反して、我々の実験は、Percept-Vの非常に高い人的性能と比較して、SoTAのプロプライエタリかつオープンソースMLLMの弱い性能を示している。
• 参考スコア（独自算出の注目度）: 23.22049250636057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cognitive science research treats visual perception, the ability to understand and make sense of a visual input, as one of the early developmental signs of intelligence. Its TVPS-4 framework categorizes and tests human perception into seven skills such as visual discrimination, and form constancy. Do Multimodal Large Language Models (MLLMs) match up to humans in basic perception? Even though there are many benchmarks that evaluate MLLMs on advanced reasoning and knowledge skills, there is limited research that focuses evaluation on simple perception. In response, we introduce Percept-V, a dataset containing 6000 program-generated uncontaminated images divided into 30 domains, where each domain tests one or more TVPS-4 skills. Our focus is on perception, so we make our domains quite simple and the reasoning and knowledge required for solving them are minimal. Since modern-day MLLMs can solve much more complex tasks, our a-priori expectation is that they will solve these domains very easily. Contrary to our belief, our experiments show a weak performance of SoTA proprietary and open-source MLLMs compared to very high human performance on Percept-V. We find that as number of objects in the image increases, performance goes down rather fast. Our experiments also identify the perception skills that are considerably harder for all models.
• Abstract（参考訳）: 認知科学研究は、視覚的知覚、視覚的インプットを理解し、理解する能力を、知性の発達初期の兆候の1つとして扱う。 そのTVPS-4フレームワークは、人間の知覚を視覚的識別や形態の一貫性といった7つのスキルに分類し、テストする。 MLLM(Multimodal Large Language Models)は、人間に基本的な知覚で一致するか? 高度な推論と知識スキルに基づいてMLLMを評価するベンチマークは数多く存在するが、単純な知覚に焦点を絞った研究は限られている。 そこで本研究では,プログラム生成した6000個の未汚染画像を含むデータセットPercept-Vを30の領域に分割し,各ドメインが1つ以上のTVPS-4スキルをテストする。 そのため、ドメインを極めてシンプルにし、それを解決するのに必要な推論と知識を最小限にします。 現代のMLLMはより複雑なタスクを解くことができるので、我々はこれらのドメインを非常に簡単に解決できると期待している。 我々の考えに反して、我々の実験は、Percept-Vの非常に高い人的性能と比較して、SoTAのプロプライエタリかつオープンソースMLLMの弱い性能を示している。 画像内のオブジェクト数が増加するにつれて、パフォーマンスがかなり速くなります。 実験では、全てのモデルにとってはるかに難しい知覚スキルも同定した。

関連論文リスト

• Toward Cognitive Supersensing in Multimodal Large Language Model [67.15559571626747]
  我々は,MLLMに人間のような視覚的特徴を付与する訓練パラダイムであるCognitive Supersensingを紹介する。 実験では、CogSense-BenchでCognitive Supersensingを訓練したMLLMが、最先端のベースラインを大きく上回った。 私たちはCogSense-Benchとモデルウェイトをオープンソースにします。
  論文  参考訳（メタデータ） (2026-02-02T02:19:50Z)
• Visual Room 2.0: Seeing is Not Understanding for MLLMs [9.870930749379932]
  MLLMの知覚認識アライメントを評価するための階層的ベンチマークであるtextitVisual Room 2.0 を紹介する。 人間の知覚と認知のプロセスは、低、中、高の3段階にわたってモデル化され、17の代表的なタスクをカバーしています。 データセットには350のマルチモーダルサンプルが含まれており、それぞれ6つのプログレッシブな質問(合計2,100件)が認識から認知に分散している。
  論文  参考訳（メタデータ） (2025-11-17T03:34:52Z)
• Artificial Phantasia: Evidence for Propositional Reasoning-Based Mental Imagery in Large Language Models [0.0]
  この研究は、人工システムにおける複雑な認知行動のベンチマークのための新しいアプローチを提供する。 私たちは認知心理学から古典的な精神イメージタスクの新しいアイテムを何十個も作成しました。 その結果,最高のLDMは平均的な人的パフォーマンスよりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-09-27T04:36:12Z)
• Pixels, Patterns, but No Poetry: To See The World like Humans [33.773551676022514]
  最先端のMLLMは、人間にとって簡単な私たちの知覚上のタスクに破滅的な失敗を示します。 この論文は、推論から知覚へと焦点を移す。
  論文  参考訳（メタデータ） (2025-07-21T21:50:16Z)
• Do You See Me : A Multidimensional Benchmark for Evaluating Visual Perception in Multimodal LLMs [9.951669153984708]
  Do You See Me"は,1,758のイメージと2,612の質問を備えた,スケーラブルなベンチマークである。 人間は96.49%の精度を達成し、トップMLLMは50%以下である。 これは、真に堅牢な視覚知覚を持つMLLMに対して、緊急の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-28T13:31:32Z)
• Grounded Chain-of-Thought for Multimodal Large Language Models [66.04061083611863]
  我々は,GCoT(Gunded Chain-of-Thought)と呼ばれるマルチモーダル大規模言語モデル(MLLM)の新しい学習タスクを提案する。 GCoTは、MLLMが関連する視覚的手がかりを段階的に認識し、グラウンド化するのを支援し、グラウンド化座標による正しい解を直感的に予測する。 この作業を容易にするために,5,033画像に対して24,022 GCoT例からなるマルチモーダルグラウンドド・チェーン・オブ・ソート(MM-GCoT)と呼ばれるデータセットを慎重に設計し,構築する。
  論文  参考訳（メタデータ） (2025-03-17T04:07:47Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• Explore the Hallucination on Low-level Perception for MLLMs [83.12180878559295]
  低レベルの視覚知覚と理解タスクにおけるMLLMの自己認識性を定義し,評価することを目的としている。 低レベルの視覚に対する人間の反応をシミュレートするベンチマーク設定であるQL-Benchを提案する。 いくつかのモデルでは、ロバストな低レベル視覚能力を示すが、その自己認識性は比較的未発達である。
  論文  参考訳（メタデータ） (2024-09-15T14:38:29Z)
• What is the Visual Cognition Gap between Humans and Multimodal LLMs? [63.81347276258992]
  MLLM(Multimodal Large Language Models)の視覚認知能力を評価し,その性能を人間の視覚認知研究と比較した。 我々の比較実験では、MLLMと人間の知能のギャップが明らかになっている。 我々は,MaRs-VQAとQwen2-VCogベースラインモデルの公開が,人間の視覚認知能力を持つ次世代MLLMに向けて進展をもたらすと考えている。
  論文  参考訳（メタデータ） (2024-06-14T22:02:21Z)
• TopViewRS: Vision-Language Models as Top-View Spatial Reasoners [38.406430696146714]
  トップビューの視点は、人間が様々な種類の地図を読み、推論する典型的な方法である。 11,384の質問からなるTopViewRSデータセットを視覚入力として,現実的あるいは意味的なトップビューマップで紹介する。 次に、異なるレベルの複雑さを持つ4つの知覚と推論タスクにわたるVLMの研究と評価に使用します。
  論文  参考訳（メタデータ） (2024-06-04T17:55:43Z)
• MARVEL: Multidimensional Abstraction and Reasoning through Visual Evaluation and Learning [22.440669015518015]
  マルチモーダル大言語モデル(MLLM)が抽象的な視覚的推論能力を持っているかどうかを評価する。 スドゥークパズルと同様に、抽象的視覚推論(AVR)問題は高レベルのパターンを見つける必要がある。 6つのコア知識パターン,幾何学的および抽象的形状,5つのタスク構成からなる770個のMLLMのベンチマークであるMARVELを紹介する。
  論文  参考訳（メタデータ） (2024-04-21T09:15:02Z)
• Mind's Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models [71.93366651585275]
  大規模言語モデル(LLM)は、言語理解と様々な推論タスクにおいて印象的な性能を示した。 本稿では,LLMの空間的推論を視覚的に行うために,VoT(Visual-of-Thought)を提案する。 VoTはLLMの空間的推論能力を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-04T17:45:08Z)
• Mementos: A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences [80.54979242912944]
  本稿では,MLLMの逐次画像推論能力を評価するためのベンチマークであるMementosを紹介する。 MLLMは与えられた画像列の動的情報を正確に記述するのに苦労しており、しばしば幻覚/誤表現につながる。
  論文  参考訳（メタデータ） (2024-01-19T07:10:13Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• TouchStone: Evaluating Vision-Language Models by Language Models [91.69776377214814]
  本稿では,LVLMの様々な能力を総合的に評価するために,強大な言語モデルを用いた評価手法を提案する。 オープンワールドイメージと質問からなる包括的ビジュアル対話データセットTouchStoneを構築し,5つの主要な機能カテゴリと27のサブタスクをカバーした。 GPT-4のような強力なLVLMは、テキスト機能のみを活用することで、対話品質を効果的に評価できることを実証する。
  論文  参考訳（メタデータ） (2023-08-31T17:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。