論文の概要: CogGym: Towards Large-Scale Comparative Evaluation of Human and Machine Cognition

• arxiv url: http://arxiv.org/abs/2609.21259v1
• Date: Fri, 18 Sep 2026 03:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.840071
• Title: CogGym: Towards Large-Scale Comparative Evaluation of Human and Machine Cognition
• Title（参考訳）: CogGym:人間と機械の認知の大規模比較評価を目指して
• Abstract要約: モデルと人間の振る舞いをマッチング実験で比較するフレームワークであるCogGymを紹介した。 CogGymは、多種多様な実験パラダイムを標準化するために、半自動化されたループパイプラインを使用する。 私たちは、より大規模で最近のAIモデルが人間の判断をより良く再現する、明確なスケーリングトレンドを見つけました。
• 参考スコア（独自算出の注目度）: 66.8415515346664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding and modeling human intelligence are parallel goals shared by artificial intelligence (AI) and cognitive science. As AI systems grow increasingly capable, in what ways do model responses resemble human responses, and where do they systematically diverge? The sheer breadth and diversity of the tasks humans can perform and think about pose a challenge for scalable and rigorous comparison between humans and models. We introduce CogGym, a scalable, unified framework grounded in cognitive science for systematically comparing model and human behavior on matched experimental trials. CogGym uses a semi-automated, human-in-the-loop pipeline to standardize diverse experimental paradigms into a task-agnostic Experiment Markup Language (EML), enabling reproducible and faithful comparison at scale. For initial release, we curate and standardize 258 cognitive experiments from 100 papers that focuses on human commonsense reasoning, and evaluate 50 large language models against human responses. We find a clear scaling trend where larger and more recent AI models better reproduce human judgments. Yet AI models' improvement on such common reasoning tasks is considerably slower than the gains observed on formal-reasoning benchmarks like math and coding, and model--human fit remains well below human splithalf reliability ($R^2 = 0.93$ on text, $0.95$ on image, and $0.92$ on video) with the best models achieving $R^2 = 0.59$ on text, $0.58$ on image, and $0.43$ on video experiments. We intend for CogGym to provide a living evaluation framework that continually incorporates new cognitive science experiments to characterize where model behavior resembles human behavior, where it systematically diverges, and how those patterns change as models and experiments evolve.
• Abstract（参考訳）: 人間の知能の理解とモデリングは、人工知能(AI)と認知科学によって共有される平行目標である。 AIシステムがますます有能になるにつれて、モデル応答は人間の反応にどのように似ていて、どこで体系的に分岐するのか? 人間が行うことができるタスクの幅と多様性は、人間とモデルの間のスケーラブルで厳密な比較に挑戦する。 我々は,認知科学を基盤とした,スケーラブルで統一されたフレームワークであるCogGymを紹介した。 CogGymは、多種多様な実験パラダイムをタスクに依存しない実験マークアップ言語(EML)に標準化するために、半自動化された、ループ内の人間パイプラインを使用している。 最初のリリースでは、人間常識推論に焦点を当てた100の論文から258の認知実験をキュレート、標準化し、人間の反応に対して50の大規模言語モデルを評価する。 私たちは、より大規模で最近のAIモデルが人間の判断をより良く再現する、明確なスケーリングトレンドを見つけました。 しかし、そのような一般的な推論タスクにおけるAIモデルの改善は、数学やコーディングのようなフォーマルな推論のベンチマークで見られる利益よりもかなり遅く、人間の適合性は人間のスプリットハーフの信頼性(テキストではR^2 = 0.93$、画像では0.95$、ビデオでは0.92$)を大きく下回っており、最高のモデルはテキストではR^2 = 0.59$、画像では0.58$、ビデオ実験では0.43ドルである。 我々は,新しい認知科学実験を継続的に取り入れて,モデル行動が人間の行動に類似する場所,体系的に分岐する場所,モデルや実験が進化するにつれてそれらのパターンがどのように変化するかを特徴付ける,生きた評価フレームワークを提供することを意図している。

関連論文リスト

• HUMANLLM: Benchmarking and Reinforcing LLM Anthropomorphism via Human Cognitive Patterns [59.17423586203706]
  本稿では,心理的パターンを因果力の相互作用として扱うフレームワークであるHUMANLLMを提案する。 12,000の学術論文から244のパターンを構築し、2-5のパターンが相互に強化、衝突、変調されるシナリオ11,359を合成する。 我々の二重レベルチェックリストは、個々のパターンの忠実度と創発的なマルチパターンのダイナミクスを評価し、強い人間のアライメントを達成する。
  論文  参考訳（メタデータ） (2026-01-15T08:56:53Z)
• Wow, wo, val! A Comprehensive Embodied World Model Evaluation Turing Test [62.17144846428715]
  我々は、Embodied Turing Testベンチマーク: WoW-World-Eval (Wow,wo,val)を紹介する。 Wow-wo-valは知覚、計画、予測、一般化、実行の5つのコア能力を調べる。 Inverse Dynamic Model Turing Testでは、まずIMMを用いて、実世界におけるビデオ基盤モデルの実行精度を評価する。
  論文  参考訳（メタデータ） (2026-01-07T17:50:37Z)
• Empirically evaluating commonsense intelligence in large language models with large-scale human judgments [4.212429064310439]
  本稿では,人工知能における常識評価手法を提案する。 モデルの判断と人口の対応を計測する。 私たちのフレームワークは、異なる、しばしば互換性のない、知識の社会的備蓄を持つ人間の集合体にAIモデルを適用することの要求に寄与します。
  論文  参考訳（メタデータ） (2025-05-15T13:55:27Z)
• EgoAgent: A Joint Predictive Agent Model in Egocentric Worlds [119.02266432167085]
  EgoAgentは単一変換器内での表現、予測、動作を同時に学習する統合エージェントモデルである。 EgoAgentは、タスクをインターリーブされた状態とアクションのシーケンスとして定式化することで、これらの能力間の因果的および時間的依存関係を明示的にモデル化する。 EgoAgentの画像分類,エゴセントリックな将来の状態予測,3次元人間の動作予測といった代表的課題に対する総合的な評価は,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2025-02-09T11:28:57Z)
• Towards Neural Network based Cognitive Models of Dynamic Decision-Making by Humans [16.72938921687168]
  私たちはインスタンスベースの学習(IBL)に基づいて、人間の決定は過去に遭遇した同様の状況に基づいていると仮定します。 本研究では,2つの新しい注意型ニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-24T20:28:03Z)
• User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
  LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。 実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
  論文  参考訳（メタデータ） (2023-06-05T02:58:35Z)
• Cognitive Models as Simulators: The Case of Moral Decision-Making [9.024707986238392]
  本研究では,AIシステムと対話し,人間の代わりに認知モデルからフィードバックを収集することを目的としたシミュレータとして,$textitcognitive Modelのアイデアを裏付ける。 ここでは、ウルティマトゥムゲーム(UG)の認知モデルと相互作用することで、強化学習エージェントに公正さについて学ばせることにより、道徳的意思決定の文脈でこの考え方を活用する。 我々の研究は、人間のシミュレーターとして認知モデルを使用することがAIシステムのトレーニングに効果的なアプローチであり、AIに貢献するための計算認知科学の重要な方法を提供することを示唆している。
  論文  参考訳（メタデータ） (2022-10-08T23:14:14Z)
• Machine Common Sense [77.34726150561087]
  機械の常識は、人工知能(AI)において広範で潜在的に無拘束な問題のままである 本稿では、対人インタラクションのようなドメインに焦点を当てたコモンセンス推論のモデル化の側面について論じる。
  論文  参考訳（メタデータ） (2020-06-15T13:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。