論文の概要: ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds

• arxiv url: http://arxiv.org/abs/2609.30199v1
• Date: Thu, 24 Sep 2026 17:37:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.174381
• Title: ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds
• Title（参考訳）: ExplorationBench: 検証可能なエイリアンの世界におけるAIシステムの探索を測定する
• Abstract要約: 我々はExplorationBenchを紹介します。これは、科学的探究を評価するという邪悪な問題を、検証可能なエイリアンの世界の上に構築された、具体的でトラクタブルなフレームワークに変えます。 10のAIシステムを評価し、最強のシステムが未知のルールを取得し、適用可能であるのに対して、性能は軌道毎に大きく異なる。
• 参考スコア（独自算出の注目度）: 66.64143737386031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific discovery begins where known problems end. There, AI systems must engage in exploration: framing hypotheses, designing experiments, and iterating on the results. However, evaluating this ability is difficult: (1) how to verify whether a genuinely new hypothesis holds, and (2) how to determine whether a system has discovered it through exploration or merely recalled related knowledge from pre-training data. To this end, we introduce ExplorationBench, which turns the wicked problem of evaluating scientific exploration into a concrete and tractable framework built on verifiable Alien Worlds: their rules are executable, so every answer can be checked exactly, and they conflict with familiar knowledge, so recall alone cannot solve the tasks. The benchmark contains two sandboxes, AlienCode (31 discovery targets, 70 tasks) and AlienLogic (24 discovery targets, 70 tasks). Each sandbox provides a flawed manual, task-specific environmental feedback, and a dedicated tool-call schema. Systems use these resources to explore the sandbox, then solve held-out tasks. We evaluate 10 AI systems and find that the strongest systems can acquire and apply unfamiliar rules, while performance varies substantially across trajectories and continued exploration can stall or reverse earlier gains. ExplorationBench represents a step towards AI systems that can acquire and apply genuinely new knowledge through exploration in unknown environments.
• Abstract（参考訳）: 科学的発見は既知の問題が終わるところから始まる。 そこでは、AIシステムは、フレーミング仮説、実験の設計、結果の反復といった、探索に携わる必要があります。 しかし,本能力の評価は,(1)真に新しい仮説が成立するかどうかの検証方法,(2)事前学習データから関連する知識を単に呼び戻しただけで,システムが発見しているかどうかの判定方法など,困難である。 この目的のために、ExplorationBenchを紹介します。これは、科学的探索を評価するという邪悪な問題を、検証可能なエイリアン世界の上に構築された具体的で扱いやすいフレームワークへと変えます。これらのルールは実行可能であり、すべての回答を正確にチェックすることができ、精通した知識と矛盾するため、リコールだけではそのタスクを解決できません。 ベンチマークには、AlienCode(31のディスカバリターゲット、70のタスク)とAlienLogic(24のディスカバリターゲット、70のタスク)の2つのサンドボックスが含まれている。 各サンドボックスは、欠陥のあるマニュアル、タスク固有の環境フィードバック、専用のツールコールスキーマを提供する。 システムはこれらのリソースを使ってサンドボックスを探索し、ホールドアウトタスクを解決します。 我々は10のAIシステムを評価し、最強のシステムが未知のルールを取得し、適用できることを見出した。 ExplorationBenchは、未知の環境での探索を通じて、真に新しい知識を取得し、適用することができるAIシステムへのステップである。

関連論文リスト

• Intentmaking and Sensemaking: Human Interaction with AI-Guided Mathematical Discovery [72.49593499512092]
  インテントメイキングという別のワークフローを特定し、特徴付けします。 私たちはこれをセンスメイキングの自然な拡張と捉えています。 これらのテーマのドキュメンテーションは、科学的発見のためのAIツール設計へのアプローチを示唆している。
  論文  参考訳（メタデータ） (2026-05-07T09:30:25Z)
• Can Current Agents Close the Discovery-to-Application Gap? A Case Study in Minecraft [70.0241202837925]
  我々はMinecraftベースのベンチマークであるSciCrafterを紹介した。 GPT-5.2, Gemini-3-Pro, Claude-Opus-4.5などのフロンティアモデルを汎用コードエージェントの足場下で評価した。 我々の分析によると、一般的な知識応用能力は依然として全てのモデルで最大のギャップであり続けているが、フロンティアモデルでは、知識ギャップの識別が大きなハードルになりつつある。
  論文  参考訳（メタデータ） (2026-04-27T16:58:04Z)
• Beyond the Destination: A Novel Benchmark for Exploration-Aware Embodied Question Answering [87.76784654371312]
  Embodied Question Answeringでは、エージェントが動的に3D環境を探索し、視覚情報を積極的に収集し、質問に答えるために多段階の推論を行う必要がある。 既存のデータセットはしばしばバイアスや事前の知識を導入し、非身体的推論につながる。 探索能力と推論能力の両方を評価するために特別に設計された最大のデータセットを構築します。
  論文  参考訳（メタデータ） (2025-03-14T06:29:47Z)
• Interesting Object, Curious Agent: Learning Task-Agnostic Exploration [44.18450799034677]
  本稿では,タスク非依存探索の定式化と評価におけるパラダイム変化を提案する。 我々の定式化は効果的であることを示し、複数のトレーニングテスト環境ペアをまたいだ最も一貫した探索を提供する。
  論文  参考訳（メタデータ） (2021-11-25T15:17:32Z)
• Exploration in Deep Reinforcement Learning: A Comprehensive Survey [24.252352133705735]
  Deep Reinforcement Learning (DRL)とDeep Multi-agent Reinforcement Learning (MARL)は、ゲームAI、自動運転車、ロボティクス、ファイナンスなど、幅広い領域で大きな成功を収めている。 DRLおよび深層MARLエージェントはサンプリング非効率であることが広く知られており、比較的単純なゲーム設定でも数百万のインタラクションが必要である。 本稿では,DRLおよび深部MARLにおける既存探査手法に関する総合的な調査を行う。
  論文  参考訳（メタデータ） (2021-09-14T13:16:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。