論文の概要: AutoWorldModel-Bench: A State-Centric Benchmark for Automated World-Model Research
- arxiv url: http://arxiv.org/abs/2608.11216v1
- Date: Mon, 20 Jul 2026 23:35:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 01:32:04.577654
- Title: AutoWorldModel-Bench: A State-Centric Benchmark for Automated World-Model Research
- Title（参考訳）: AutoWorldModel-Bench: 自動世界モデル研究のためのステート中心ベンチマーク
- Abstract要約: AutoWorldModel-Benchは、AIコーディングエージェントが自律的な研究者として機能するベンチマークである。
各ゲームから抽出された構造化状態表現-地上実体状態の下で8つのゲーム環境にまたがる。
我々のベンチマークでは、工学と特殊の問題ではなく、オープンな研究でフロンティアコーディングエージェントを評価できる設定を提供しています。
- 参考スコア（独自算出の注目度）: 39.68061830142623
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: World modeling is an unsettled field: architectures, training objectives, and state representations interact in complex ways, and no single recipe dominates across environments. This makes it an ideal testbed for AI coding agents acting as autonomous researchers--a setting in which the improvement direction is not specified in advance, unlike the engineering-to-spec tasks that dominate current agent benchmarks. We introduce AutoWorldModel-Bench, a closed-loop benchmark in which frontier coding agents autonomously improve a provided world-model starter under a fixed compute budget. The benchmark spans eight game environments under a unified structured-state representation--ground-truth entity state extracted from each game and consumed through a shared tensor format--which isolates dynamics modeling from perception and enables minutes-per-run iteration. Across 64 sessions, Codex-5.4 and Claude Opus 4.6 improve their starter on 63; in 91% of sessions the winning edit is a non-trivial research-style modification--a new objective, representation, rollout procedure, or architectural change--rather than a hyperparameter tweak. Our benchmark offers a setting in which frontier coding agents can be evaluated on open-ended research rather than engineering-to-spec problems.
- Abstract（参考訳）: アーキテクチャ、トレーニング目的、状態表現は複雑な方法で相互作用し、環境全体にわたって単一のレシピが支配することはない。
これはAIコーディングエージェントが自律的な研究者として機能する理想的なテストベッドであり、現在のエージェントベンチマークを支配しているエンジニアリング・トゥ・スペックタスクとは異なり、改善の方向性が事前に特定されていない設定である。
本稿では,フロンティア符号化エージェントが固定計算予算の下で提供されたワールドモデルスタータを自律的に改善する,クローズドループベンチマークであるAutoWorldModel-Benchを紹介する。
このベンチマークは、各ゲームから抽出され、共有テンソルフォーマットを介して消費される、統一された構造化状態表現の下で8つのゲーム環境にまたがる。
64セッションにわたって、Codex-5.4とClaude Opus 4.6は63のスターターを改善し、91%のセッションでは、勝者の編集は非自明な研究スタイルの修正である。
我々のベンチマークでは、工学と特殊の問題ではなく、オープンな研究でフロンティアコーディングエージェントを評価できる設定を提供しています。
関連論文リスト
- Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。
まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。
第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文 参考訳（メタデータ） (2026-08-11T18:48:40Z) - OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios [25.68270661401607]
OmniaBenchは、明示的な状態空間を持つ様々なシナリオにまたがる汎用エージェントを評価するベンチマークである。
実行環境を構築し,4つの相補経路を通した単一ターンタスクと複数ターンタスクを合成する。
ベンチは現在のフロンティアモデルに重大な課題を示しており、クロード・ソネット-5とGPT-5.6-ソルもそれぞれ58.54点と57.14点の総合パス@1点を達成している。
論文 参考訳（メタデータ） (2026-07-16T13:38:07Z) - UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks [43.36285223987099]
動的で現実的な設定でプロアクティブエージェントを評価するための最初の能力駆動型ベンチマークであるUniClawBenchを紹介する。
UniClawBenchは、Skill Usage、Exploration、Long-Context Reasoning、Multimodal Understanding、Cross-Platform Coordinationの5つの実行モデル機能を中心に構築されている。
静的で記録された回答に依存する以前のベンチマークとは異なり、我々のベンチマークは、詳細なステップバイステップの完了チェックポイントを使用して、Dockerコンテナ内のエージェントを評価します。
論文 参考訳（メタデータ） (2026-07-09T17:59:32Z) - PatchWorld: Gradient-Free Optimization of Executable World Models [69.05094454437402]
我々は、オフラインのトラジェクトリを実行可能なPythonの世界モデルに変換する、勾配のないフレームワークであるPatchWorldを紹介します。
7つのAgentGym環境の中で、PatchWorld-Simpleはコードベースの計画スコアが最も高い。
人間の特定残差バイアスは, 表面観察精度を向上するが, 判定性は低下する。
論文 参考訳（メタデータ） (2026-05-29T06:11:14Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning [17.115542346570972]
既存の反復的な改善戦略は、外部のオラクル、実行フィードバック、あるいは計算に高価なプロンプト応答サイクルに依存している。
構造的推論軌道を内在化する新しい強化学習(RL)フレームワークであるReflexiCoderを提案する。
私たちのフレームワークはベースモデルよりもトークン効率がかなり高く、推論時の計算オーバーヘッドを約40%削減します。
論文 参考訳（メタデータ） (2026-03-06T03:38:17Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts [35.52607495764441]
大規模言語モデル(LLM)に基づく自律エージェントは、経済的生産に大きく貢献する多面的能力を示す。
我々は、毎日のAI使用から派生したベンチマークであるAgentBenchを紹介し、32の現実シナリオにわたる6つのコアエージェント能力を評価した。
これらのシナリオでは、平均90のツールコール、100万のトークン、解決に必要な実行時間が必要です。
論文 参考訳（メタデータ） (2026-01-16T07:22:20Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳（メタデータ） (2023-10-02T09:47:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。