論文の概要: The Artificial Intelligence Cognitive Examination: A Survey on the Evolution of Multimodal Evaluation from Recognition to Reasoning

• arxiv url: http://arxiv.org/abs/2510.04141v1
• Date: Sun, 05 Oct 2025 10:41:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.486368
• Title: The Artificial Intelligence Cognitive Examination: A Survey on the Evolution of Multimodal Evaluation from Recognition to Reasoning
• Title（参考訳）: 人工知能認知検査:認識から推論へのマルチモーダル評価の進化に関する調査
• Authors: Mayank Ravishankara, Varindra V. Persad Maharaj,
• Abstract要約: この分野は、単純な認識タスクから複雑な推論ベンチマークに移行する、パラダイムシフトが進行中である、と我々は主張する。 ImageNet時代の基礎的な"知識テスト"から、"応用ロジックと理解"テストまでの道程をグラフ化します。 我々は、抽象的、創造的、社会的知性を評価するために、未知の領域を探索する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This survey paper chronicles the evolution of evaluation in multimodal artificial intelligence (AI), framing it as a progression of increasingly sophisticated "cognitive examinations." We argue that the field is undergoing a paradigm shift, moving from simple recognition tasks that test "what" a model sees, to complex reasoning benchmarks that probe "why" and "how" it understands. This evolution is driven by the saturation of older benchmarks, where high performance often masks fundamental weaknesses. We chart the journey from the foundational "knowledge tests" of the ImageNet era to the "applied logic and comprehension" exams such as GQA and Visual Commonsense Reasoning (VCR), which were designed specifically to diagnose systemic flaws such as shortcut learning and failures in compositional generalization. We then survey the current frontier of "expert-level integration" benchmarks (e.g., MMBench, SEED-Bench, MMMU) designed for today's powerful multimodal large language models (MLLMs), which increasingly evaluate the reasoning process itself. Finally, we explore the uncharted territories of evaluating abstract, creative, and social intelligence. We conclude that the narrative of AI evaluation is not merely a history of datasets, but a continuous, adversarial process of designing better examinations that, in turn, redefine our goals for creating truly intelligent systems.
• Abstract（参考訳）: 本研究は, マルチモーダル人工知能(AI)における評価の進化を, より洗練された「認知検査」の進展と捉えたものである。 我々は、モデルが見ている「何」をテストする単純な認識タスクから、それが理解している「なぜ」と「どのように」を探索する複雑な推論ベンチマークへと、この分野がパラダイムシフトしていると論じる。 この進化は、しばしばパフォーマンスが根本的な弱点を隠蔽する古いベンチマークの飽和によって引き起こされる。 我々は,ImageNet時代の基礎的「知識テスト」から,GQAやVisual Commonsense Reasoning(VCR)などの「応用論理と理解」試験まで,ショートカット学習や構成一般化の失敗といったシステム的欠陥の診断に特化して開発された。 次に、今日の強力なマルチモーダル大言語モデル(MLLM)向けに設計された"エキスパートレベル統合"ベンチマーク(例えば、MMBench、SEED-Bench、MMMU)の現在のフロンティアを調査し、推論プロセス自体を評価します。 最後に、抽象的、創造的、社会的知性を評価するための、未知の領域について検討する。 AI評価の物語は単なるデータセットの歴史ではなく、より良い試験を設計する継続的かつ敵対的なプロセスであり、結果として、真にインテリジェントなシステムを構築するという私たちの目標を再定義する、と結論付けている。

関連論文リスト

• From Perception to Cognition: A Survey of Vision-Language Interactive Reasoning in Multimodal Large Language Models [59.85951092642609]
  MLLM(Multimodal Large Language Models)は、物理的世界に対する深い人間的な理解と相互作用を達成するための試みである。 情報取得(知覚)や推論(認知)を行う際、しばしば浅く不整合な統合を示す。 この調査では、新しい統合分析フレームワーク「知覚から認知へ」を紹介した。
  論文  参考訳（メタデータ） (2025-09-29T18:25:40Z)
• Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing [84.16442052968615]
  RISEBenchはReasoning-Informed ViSual Editing (RISE)の最初のベンチマークである。 RISEBenchは、時間、因果、空間、論理的推論の4つの主要な推論カテゴリに焦点を当てている。 オープンソースモデルとプロプライエタリモデルの両方を含む,9つの目立った視覚編集モデルを評価する実験を行った。
  論文  参考訳（メタデータ） (2025-04-03T17:59:56Z)
• VEGAS: Towards Visually Explainable and Grounded Artificial Social Intelligence [22.086567828557683]
  ソーシャルインテリジェンスクエリ(Social Intelligence Queries、Social-IQ)は、モデルのソーシャルインテリジェンスレベルを評価するための主要なマルチモーダルベンチマークである。 本稿では,視覚的説明可能・接地型人工知能(VEGAS)モデルを提案する。
  論文  参考訳（メタデータ） (2025-04-03T02:48:21Z)
• How Metacognitive Architectures Remember Their Own Thoughts: A Systematic Review [16.35521789216079]
  メタ認知は、人工エージェントの自律性と適応性を高める可能性に大きな注目を集めている。 既存の概要は、基礎となるアルゴリズム、表現、そしてそれぞれの成功に気付かない概念レベルに留まっている。
  論文  参考訳（メタデータ） (2025-02-28T08:48:41Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• In-Context Analogical Reasoning with Pre-Trained Language Models [10.344428417489237]
  我々は、AIシステムにおけるアナロジーを支援するために、直感的な言語ベースの抽象化の使用について検討する。 具体的には,大規模事前学習言語モデル(PLM)を視覚的Raven's Progressive Matrices(RPM)に適用する。 PLMはゼロショットリレーショナル推論に顕著な能力を示し、人間のパフォーマンスを超え、教師付き視覚ベースの手法に近づいた。
  論文  参考訳（メタデータ） (2023-05-28T04:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。