論文の概要: The Artificial Intelligence Cognitive Examination: A Survey on the Evolution of Multimodal Evaluation from Recognition to Reasoning

• arxiv url: http://arxiv.org/abs/2510.04141v1
• Date: Sun, 05 Oct 2025 10:41:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.486368
• Title: The Artificial Intelligence Cognitive Examination: A Survey on the Evolution of Multimodal Evaluation from Recognition to Reasoning
• Title（参考訳）: 人工知能認知検査:認識から推論へのマルチモーダル評価の進化に関する調査
• Authors: Mayank Ravishankara, Varindra V. Persad Maharaj,
• Abstract要約: この分野は、単純な認識タスクから複雑な推論ベンチマークに移行する、パラダイムシフトが進行中である、と我々は主張する。 ImageNet時代の基礎的な"知識テスト"から、"応用ロジックと理解"テストまでの道程をグラフ化します。 我々は、抽象的、創造的、社会的知性を評価するために、未知の領域を探索する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This survey paper chronicles the evolution of evaluation in multimodal artificial intelligence (AI), framing it as a progression of increasingly sophisticated "cognitive examinations." We argue that the field is undergoing a paradigm shift, moving from simple recognition tasks that test "what" a model sees, to complex reasoning benchmarks that probe "why" and "how" it understands. This evolution is driven by the saturation of older benchmarks, where high performance often masks fundamental weaknesses. We chart the journey from the foundational "knowledge tests" of the ImageNet era to the "applied logic and comprehension" exams such as GQA and Visual Commonsense Reasoning (VCR), which were designed specifically to diagnose systemic flaws such as shortcut learning and failures in compositional generalization. We then survey the current frontier of "expert-level integration" benchmarks (e.g., MMBench, SEED-Bench, MMMU) designed for today's powerful multimodal large language models (MLLMs), which increasingly evaluate the reasoning process itself. Finally, we explore the uncharted territories of evaluating abstract, creative, and social intelligence. We conclude that the narrative of AI evaluation is not merely a history of datasets, but a continuous, adversarial process of designing better examinations that, in turn, redefine our goals for creating truly intelligent systems.
• Abstract（参考訳）: 本研究は, マルチモーダル人工知能(AI)における評価の進化を, より洗練された「認知検査」の進展と捉えたものである。 我々は、モデルが見ている「何」をテストする単純な認識タスクから、それが理解している「なぜ」と「どのように」を探索する複雑な推論ベンチマークへと、この分野がパラダイムシフトしていると論じる。 この進化は、しばしばパフォーマンスが根本的な弱点を隠蔽する古いベンチマークの飽和によって引き起こされる。 我々は,ImageNet時代の基礎的「知識テスト」から,GQAやVisual Commonsense Reasoning(VCR)などの「応用論理と理解」試験まで,ショートカット学習や構成一般化の失敗といったシステム的欠陥の診断に特化して開発された。 次に、今日の強力なマルチモーダル大言語モデル(MLLM)向けに設計された"エキスパートレベル統合"ベンチマーク(例えば、MMBench、SEED-Bench、MMMU)の現在のフロンティアを調査し、推論プロセス自体を評価します。 最後に、抽象的、創造的、社会的知性を評価するための、未知の領域について検討する。 AI評価の物語は単なるデータセットの歴史ではなく、より良い試験を設計する継続的かつ敵対的なプロセスであり、結果として、真にインテリジェントなシステムを構築するという私たちの目標を再定義する、と結論付けている。

関連論文リスト

• Knowledge Integration Decay in Search-Augmented Reasoning of Large Language Models [36.1675867877378]
  本研究では,知識利用の安定化を目的とした,学習不要な推論時間戦略であるSelf-Anchored Knowledge Integration (SAKE)を提案する。 SAKEはKnowledge Decay(KID)を大幅に軽減し、パフォーマンスを改善し、エージェントLLMにおける知識統合のための軽量で効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-02-10T08:20:26Z)
• On the Measure of a Model: From Intelligence to Generality [0.7561750463371523]
  ARC、Ravenにインスパイアされたテスト、Blackbird Taskなどのベンチマークは、大規模言語モデル(LLM)のインテリジェンスを評価するために広く使われている。 しかし、インテリジェンスの概念は、安定した定義が欠如しており、質問応答や要約、コーディングといった実践的なタスクのパフォーマンスを予測できない。 我々の見解では、評価は抽象的な知性の概念よりも一般性に根ざすべきである。
  論文  参考訳（メタデータ） (2025-11-14T09:46:48Z)
• MM-OPERA: Benchmarking Open-ended Association Reasoning for Large Vision-Language Models [15.929002709503921]
  我々は、根本的だが未解明の知性、すなわち結束を評価することを目指している。 MM-OPERAは、2つのオープンエンドタスクにまたがる11,497のインスタンスを持つ体系的なベンチマークである。 異なる思考と収束した連想的推論の精神に類似するようにLVLMに挑戦する。
  論文  参考訳（メタデータ） (2025-10-30T18:49:06Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• From Perception to Cognition: A Survey of Vision-Language Interactive Reasoning in Multimodal Large Language Models [59.85951092642609]
  MLLM(Multimodal Large Language Models)は、物理的世界に対する深い人間的な理解と相互作用を達成するための試みである。 情報取得(知覚)や推論(認知)を行う際、しばしば浅く不整合な統合を示す。 この調査では、新しい統合分析フレームワーク「知覚から認知へ」を紹介した。
  論文  参考訳（メタデータ） (2025-09-29T18:25:40Z)
• Two Experts Are All You Need for Steering Thinking: Reinforcing Cognitive Effort in MoE Reasoning Models Without Additional Training [86.70255651945602]
  我々はReinforcecing Cognitive Experts(RICE)と呼ばれる新しい推論時ステアリング手法を導入する。 RICEは、追加のトレーニングや複雑化なしに推論のパフォーマンスを改善することを目的としている。 先行する MoE ベースの LRM を用いた経験的評価は、推論精度、認知効率、ドメイン間の一般化において顕著で一貫した改善を示す。
  論文  参考訳（メタデータ） (2025-05-20T17:59:16Z)
• Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing [84.16442052968615]
  RISEBenchはReasoning-Informed ViSual Editing (RISE)の最初のベンチマークである。 RISEBenchは、時間、因果、空間、論理的推論の4つの主要な推論カテゴリに焦点を当てている。 オープンソースモデルとプロプライエタリモデルの両方を含む,9つの目立った視覚編集モデルを評価する実験を行った。
  論文  参考訳（メタデータ） (2025-04-03T17:59:56Z)
• VEGAS: Towards Visually Explainable and Grounded Artificial Social Intelligence [22.086567828557683]
  ソーシャルインテリジェンスクエリ(Social Intelligence Queries、Social-IQ)は、モデルのソーシャルインテリジェンスレベルを評価するための主要なマルチモーダルベンチマークである。 本稿では,視覚的説明可能・接地型人工知能(VEGAS)モデルを提案する。
  論文  参考訳（メタデータ） (2025-04-03T02:48:21Z)
• How Metacognitive Architectures Remember Their Own Thoughts: A Systematic Review [16.35521789216079]
  メタ認知は、人工エージェントの自律性と適応性を高める可能性に大きな注目を集めている。 既存の概要は、基礎となるアルゴリズム、表現、そしてそれぞれの成功に気付かない概念レベルに留まっている。
  論文  参考訳（メタデータ） (2025-02-28T08:48:41Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• SOK-Bench: A Situated Video Reasoning Benchmark with Aligned Open-World Knowledge [60.76719375410635]
  44Kの質問と10Kの状況からなる新しいベンチマーク(SOK-Bench)を提案する。 推論プロセスは、位置する知識と問題解決のための一般的な知識を理解し、適用するために必要である。 質問応答ペアと推論プロセスを生成し,最後に品質保証に関する手作業によるレビューを行った。
  論文  参考訳（メタデータ） (2024-05-15T21:55:31Z)
• Brain in a Vat: On Missing Pieces Towards Artificial General Intelligence in Large Language Models [83.63242931107638]
  本稿では,知的エージェントの4つの特徴について述べる。 実世界の物体との活発な関わりは、概念的表現を形成するためのより堅牢な信号をもたらすと我々は主張する。 我々は、人工知能分野における将来的な研究の方向性を概説して結論付ける。
  論文  参考訳（メタデータ） (2023-07-07T13:58:16Z)
• In-Context Analogical Reasoning with Pre-Trained Language Models [10.344428417489237]
  我々は、AIシステムにおけるアナロジーを支援するために、直感的な言語ベースの抽象化の使用について検討する。 具体的には,大規模事前学習言語モデル(PLM)を視覚的Raven's Progressive Matrices(RPM)に適用する。 PLMはゼロショットリレーショナル推論に顕著な能力を示し、人間のパフォーマンスを超え、教師付き視覚ベースの手法に近づいた。
  論文  参考訳（メタデータ） (2023-05-28T04:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。