論文の概要: Kepler: Auditable World Models for ARC-AGI-3

• arxiv url: http://arxiv.org/abs/2610.00834v1
• Date: Wed, 30 Sep 2026 23:46:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.808892
• Title: Kepler: Auditable World Models for ARC-AGI-3
• Title（参考訳）: Kepler:ARC-AGI-3の監査可能な世界モデル
• Abstract要約: ARC-AGI-3は、観察からルールや目的を推測しなければならない対話環境におけるエージェントを評価する。 我々は、仮説を実行可能な世界モデルとして表現するオープンソースのハーネスであるKeplerを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ARC-AGI-3 evaluates agents in interactive environments whose rules and objectives must be inferred from observation. We present Kepler, an open-source harness that represents hypotheses as executable world models and validates them through retrospective transition checks and conditional prediction checks. Under one frozen Claude Opus 5 configuration, Kepler obtained a server-verified 100.00 RHAE on all 25 public games, with no per-game model selection or score-conditioned reruns. On 181 of 183 completed levels, the final Opus attempt used no more actions than the corresponding median-human baseline. The retained board runs used 8,256 environment actions, of which 7,292 occurred in scored levels. Retained local provider-session records yield 858.0 million tokens, 97.37% cache reads, and a \$777.72 cost at September 1, 2026 API list-equivalent rates. We also report three evaluation failures: source-code leakage that produced an invalid perfect run, agents reconstructing a removed harness in a control condition, and autonomous repair masking a broken planner. A single-game observation case study showed that animation frames contained task-relevant information absent from settled text grids. Across the final Claude Opus 5 and GPT-5.6 Sol boards, 48 of 50 game-model cells reached 100. These results indicate that public-set score alone has limited discriminative value and motivate first-attempt, cost-conditioned, and verification-aware reporting.
• Abstract（参考訳）: ARC-AGI-3は、観察からルールや目的を推測しなければならない対話環境におけるエージェントを評価する。 我々は、仮説を実行可能な世界モデルとして表現し、振り返り遷移チェックと条件付き予測チェックを通じて検証するオープンソースのハーネスであるKeplerを紹介する。 1つの冷凍クロード・オプス5構成の下で、ケプラーは25の公開ゲームすべてでサーバ認証100.00 RHAEを取得し、ゲームごとのモデル選択やスコア条件の再実行は行わなかった。 完成レベル183の181では、最終オプス試行は対応する中央人間ベースライン以上の行動は行わなかった。 残っていたボードランは8,256の環境アクションを使用しており、そのうち7,292がスコアレベルで発生している。 保持されているローカル・プロバイダ・セッション・レコードは858.0百万のトークン、97.37%のキャッシュ・リード、2026年9月1日に777.72ドル相当のAPIリストに等価なレートで発行されている。 また,不完全な完全実行を発生させるソースコードリーク,制御条件下で除去されたハーネスを再構築するエージェント,壊れたプランナーを隠蔽する自律修復という3つの評価失敗を報告した。 シングルゲーム観察ケーススタディでは、アニメーションフレームには、落ち着いたテキストグリッドから欠落したタスク関連情報が含まれていた。 最後のクロード・オプス5とGPT-5.6のソルボードで、50のゲームモデルセルのうち48台が100点に達した。 これらの結果から,公立集合スコアだけでは差別的価値が限定され,初対価,費用条件,検証対応の報告が動機であることが示唆された。

関連論文リスト

• SWE-Game: Can Coding Agents Build the Games We Want? [24.275357708252926]
  SWE-Game(SWE-Game)は、2Dおよび3Dの13のゲームプレイカテゴリにまたがる41のレファレンス・ゴドットゲームに基礎を置く247のタスクのベンチマークである。 5つのタスクタイプは、ゲーム設計文書からの簡単な実装、スケルトン完成、83のインジェクトされたフォールトケースの修復、Godot-to-Unity移植から開発をカバーしている。
  論文  参考訳（メタデータ） (2026-09-27T15:38:20Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
  VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。 汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。 モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
  論文  参考訳（メタデータ） (2026-09-17T01:24:51Z)
• BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
  LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。 この対話性は、評価を報酬ハッキングに脆弱にする。 本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T03:10:58Z)
• Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
  Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。 まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。 第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
  論文  参考訳（メタデータ） (2026-08-11T18:48:40Z)
• The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom [0.0]
  LeModelは、予測損失と1つの反崩壊正規化器を備えた潜在世界モデルを訓練する。 約25ドル(約2万5000円)のレンタルコンピュータ上で、独立した再実装によってこれを再現し、1台のラップトップCPU上で全ての評価を行う。
  論文  参考訳（メタデータ） (2026-08-10T19:00:51Z)
• The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World [0.0]
  LLMルータは、各要求を最も安価な適切なモデルに合わせることで効率を約束し、マルチステップエージェント内のステップごとに適用されるようになっている。 しかし、エージェントルータはシングルターンルータのように評価され、ログ付きトラジェクトリを再生し、他のモデルの出力を置換することで評価される。 我々は,SWE-benchエージェントを制御点にフォークし,環境を再構築し,各フォークを異なるモデルで継続し,サンプリングと再生を分離する同モデル制御フォークと比較する。
  論文  参考訳（メタデータ） (2026-08-08T17:07:11Z)
• Tycho: Active Abstraction with Programmatic World Models for ARC-AGI-3 [6.41363581085404]
  ARC-AGI-3は抽象化をスキル獲得の対話的な問題に変える。 我々はこれらの環境をパラメータ化レンダリング決定論的ムーアマシンとして定式化する。 我々は,インタラクション中にゲーム固有のモデルを構築し,使用するコーディングエージェントシステムであるTychoを紹介する。
  論文  参考訳（メタデータ） (2026-07-30T14:34:41Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
  RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。 RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。 最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
  論文  参考訳（メタデータ） (2026-06-17T17:59:34Z)
• Explore Before You Solve: The Speed--Depth Trade-off in Epistemic Agents for ARC-AGI-3 [0.0]
  一般に25のARC-AGI-3ゲームについて検討し、すべてのゲームが非知的な戦略によって到達可能であることを確認する。 このベンチマーク批判は、公開評価セットが知的探索を識別できないことを示唆している。 これら25試合でRHAE=0.2116を達成する三相(EXPLORE / VERIFY / PLAN)エージェントであるAERAを提案する。
  論文  参考訳（メタデータ） (2026-05-25T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。