論文の概要: How Humans Learn Unfamiliar Worlds: A Think-Aloud Dataset on ARC-AGI-3

• arxiv url: http://arxiv.org/abs/2610.34523v1
• Date: Sun, 25 Oct 2026 19:31:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.629105
• Title: How Humans Learn Unfamiliar Worlds: A Think-Aloud Dataset on ARC-AGI-3
• Title（参考訳）: ARC-AGI-3の思考音響データセット
• Abstract要約: 我々は、人間が新しい環境のメカニズムを発見し、利用する方法を記録できる最初のデータセットを構築した。 25の公開ゲームで64人の参加者から144人のトラジェクタが参加し、それぞれがシンク・アラウド・オーディオとペアリングした。 我々は、人間の認知の特徴を分析し、それらを大規模言語モデル(LLM)エージェントと比較する。
• 参考スコア（独自算出の注目度）: 18.630455356688014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning through exploration and using newly acquired knowledge to achieve goals are central capabilities of general intelligence. Understanding these capabilities requires tracing how learners build, use, and revise world models during interaction. We construct the first dataset that records how humans discover and use the mechanisms of novel environments, using ARC-AGI-3 as a testbed: 144 trajectories from 64 participants across 25 public games, each pairing time-synchronized actions with think-aloud audio, plus 250 trajectories from large language model (LLM) agents with and without harnesses on the same games. We annotate mechanism triggers and recognition, action purposes, and errors and recovery, linking changes in understanding to the observations and actions that support them. We analyze characteristics of human cognition and compare them with those of LLM agents. Both groups anticipate mechanisms and use familiar analogies. Qualitative representations are more common in successful human trajectories than in successful LLM trajectories (50.0% versus 14.3%). Humans more often explore unfamiliar situations without a concrete hypothesis, while hypothesis testing is common in both groups. We also trace how learners recover through belief revision, replanning, and execution correction. As LLMs with well-designed harnesses reach saturated performance on public ARC-AGI-3 games, our cognitive analyses motivate next-generation benchmarks that challenge familiar priors, require accumulated evidence and abstraction, and test planning through subgoals, experimentation, and recovery. Our dataset is available at [https://arc3-human-think-aloud.github.io/](https://arc3-human-think-aloud.github.io/).
• Abstract（参考訳）: 探索を通じて学び、目標を達成するために新たに獲得した知識を利用することは、汎用知能の中心的な能力である。 これらの能力を理解するには、学習者が相互作用中に世界モデルを構築、使用、修正する方法をトレースする必要がある。 ARC-AGI-3をテストベッドとして,25の公開ゲームにまたがる64人の参加者による144のトラジェクトリ,シンク・アラウド・オーディオによるペアリング時間同期アクション,および同一ゲーム上でのハーネスのない大規模言語モデル(LLM)エージェントによる250のトラジェクトリ。 我々は、メカニズムのトリガと認識、アクションの目的、そしてエラーとリカバリを注釈付け、それらをサポートする観察とアクションに対する理解の変化をリンクする。 人間の認知の特徴を分析し,LLMエージェントの特性と比較した。 どちらのグループも機構を予測し、よく知られたアナロジーを使用する。 定性的表現は、成功したLLM軌道(50.0%対14.3%)よりも、成功した人間の軌道において一般的である。 人間は具体的仮説なしでよく馴染みのない状況を探索するが、仮説テストはどちらのグループでも一般的である。 また,信念の修正,再計画,実行の修正を通じて,学習者がどのように回復するかをたどる。 オープンなARC-AGI-3ゲームにおいて、よく設計されたハーネスを持つLCMが飽和性能に達すると、認知分析は、慣れ親しんだ先行に挑戦し、蓄積されたエビデンスと抽象化を必要とし、サブゴール、実験、リカバリによるテスト計画を必要とする次世代ベンチマークを動機付けます。 私たちのデータセットは[https://arc3-human-think-aloud.github.io/](https://arc3- human-think-aloud.github.io/)で利用可能です。

関連論文リスト

• HER: Human-like Reasoning and Reinforcement Learning for LLM Role-playing [45.576245276229606]
  LLMロールプレイングは、コンパニオンシップ、コンテンツ生成、デジタルゲームなど、様々なアプリケーションにおいて重要な機能として現れている。 これまでの取り組みは主に、高品質な推論トレースを持つデータと、人間の好みに沿った信頼できる報酬信号の2つの欠陥に悩まされていた。 認知レベルのペルソナシミュレーションのための統合フレームワークであるHERを提案する。
  論文  参考訳（メタデータ） (2026-01-29T09:35:27Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• Triangulating LLM Progress through Benchmarks, Games, and Cognitive Tests [87.0481906768826]
  評価パラダイムとして,標準ベンチマーク,インタラクティブゲーム,認知テストの3つを検討した。 分析の結果,対話型ゲームは判別モデルにおける標準ベンチマークよりも優れていることがわかった。 我々は,人間の能力評価に触発された新しい対話型ベンチマークと目標認知タスクの開発を提唱する。
  論文  参考訳（メタデータ） (2025-02-20T08:36:58Z)
• Kolb-Based Experiential Learning for Generalist Agents with Human-Level Kaggle Data Science Performance [81.05882480184587]
  本稿では,自律エージェントに対するVygotskyのZPDを用いて,Kolbの学習サイクルの計算フレームワークを提案する。 Agent Kは、KolbとVygotskyにインスパイアされた人間の認知学習をうまく統合する第1のAIシステムである。 金9個、銀8個、銅12個で、メダル獲得競争で金4個、銀4個を含む。エージェントKは、コルブとヴィーゴツキーにインスパイアされた人間の認知学習をうまく統合する第1のAIシステムである。
  論文  参考訳（メタデータ） (2024-11-05T23:55:23Z)
• Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback [16.268581985382433]
  人工知能の重要な目標は、人間と自然に対話し、フィードバックから学ぶことができるエージェントを作ることである。 ここでは、人間のフィードバックから強化学習を用いて、シミュレーションされたエンボディエージェントを改善する方法を紹介する。
  論文  参考訳（メタデータ） (2022-11-21T16:00:31Z)
• JECC: Commonsense Reasoning Tasks Derived from Interactive Fictions [75.42526766746515]
  本稿では,人間のインタラクティブ・フィクション(IF)ゲームプレイ・ウォークスルーに基づく新しいコモンセンス推論データセットを提案する。 本データセットは,事実知識ではなく,機能的コモンセンス知識ルールの評価に重点を置いている。 実験の結果、導入したデータセットは、以前の機械読影モデルと新しい大規模言語モデルに難題であることが示されている。
  論文  参考訳（メタデータ） (2022-10-18T19:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。