論文の概要: ArtifactArena: Evaluating Models by What They Build in the Physical World
- arxiv url: http://arxiv.org/abs/2610.06511v1
- Date: Mon, 05 Oct 2026 15:28:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 07:54:15.570138
- Title: ArtifactArena: Evaluating Models by What They Build in the Physical World
- Title（参考訳）: ArtifactArena: 物理世界で構築したものによるモデルの評価
- Abstract要約: textscArtifactArenaは、物理的に基盤化されたハードウェアとソフトウェアの共同設計課題に直面する、オープンなプラットフォームである。
我々は,フロンティアモデルのゼロショット,バリデーションガイド付き改良,および3つのハーネスによるオープンエンド物理設計能力を評価する。
これらの機能を、アーティファクト間のヘッド・ツー・ヘッドトーナメントから派生したフロンティアモデルのEloランキングでベンチマークする。
- 参考スコア（独自算出の注目度）: 14.397376766294167
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: To evaluate the frontier, we must measure models not by what they say, but by what they can engineer and build in grounded physical environments. We introduce \textsc{ArtifactArena}, an open-ended platform where models face a physically grounded hardware-software co-design challenge: engineering fully functional robots to compete in a simulated arena. We evaluate a frontier model's zero-shot, verifier guided refinement, and open-ended physical design capabilities through three harnesses that refine their bot artifacts based on text descriptions, physics simulator feedback, and gameplay data. We benchmark these capabilities with an Elo ranking of frontier models derived from head-to-head tournaments between their artifacts. By releasing this framework and tournament infrastructure for ongoing community submissions, we establish a living, non-saturating testbed to continuously measure the expanding limits of open-ended intelligence in the physical world. Please visit \href{https://artifactarena.ai}{https://artifactarena.ai} for more information.
- Abstract（参考訳）: フロンティアを評価するためには、モデルが何を言っているかではなく、彼らが設計し、地上の物理的環境で構築できることによって、モデルを測定する必要があります。
これは、モデルが物理的に基盤付けられたハードウェアとソフトウェアの共同設計課題に直面しているオープンなプラットフォームで、シミュレーションアリーナで競うために、完全に機能するロボットを設計する。
テキスト記述,物理シミュレータフィードバック,ゲームプレイデータに基づいて,フロンティアモデルのゼロショット,バリデーションガイド付き洗練,オープンな物理設計能力を評価する。
これらの機能を、アーティファクト間のヘッド・ツー・ヘッドトーナメントから派生したフロンティアモデルのEloランキングでベンチマークする。
我々は,この枠組みと,現在進行中のコミュニティ提出のためのトーナメント基盤を公開することによって,物理的な世界におけるオープンエンドインテリジェンスの拡張限界を継続的に測定する,生きた非飽和テストベッドを構築した。
詳細については、 \href{https://artifactarena.ai}{https://artifactarena.ai} をご覧ください。
関連論文リスト
- From Generation to Simulation: How Far Are World Models from Being True Simulators? [12.796687887000415]
従来のシミュレータの8つの機能である外部ヤードスティックを用いた能力ベース研究を提案する。
我々は、遅延力学、ビデオ生成、共同埋め込み予測という3つの主要な技術経路を辿り、2018年から2026年6月までに発行された200の代表作を、これらの能力に正確にマッピングした。
我々の分析は、世界モデルは、特定のシナリオに対する相互作用と制御性において機能的な置換を達成したが、物理法則、構造化状態フィードバック、再現可能な長距離進化の正式な保証において、従来のシミュレータには及ばないことを示している。
論文 参考訳（メタデータ） (2026-08-24T10:16:05Z) - Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence [73.39562379177796]
LingBot-Videoは、インテリジェンスを具体化するための、DiTベースのビデオ事前訓練のパラダイムだ。
データの観点からは、標準的なインターネットビデオにロボット指向の広範な映像を付加するデータプロファイリングエンジンを構築する。
トレーニングの観点から,身体的合理性とタスク完了に関するアライメントを強制する多次元報酬システムを開発する。
論文 参考訳（メタデータ） (2026-07-08T17:33:40Z) - Cosmos 3: Omnimodal World Models for Physical AI [321.3056180868173]
我々は、言語、画像、ビデオ、オーディオ、アクションシーケンスを共同で処理し、生成するために設計された、一様世界モデルのファミリーであるCosmos 3を紹介する。
評価の結果,コスモス3は多種多様な理解・生成タスクにまたがって,新たな最先端技術の統合を図っている。
論文 参考訳（メタデータ） (2026-06-01T19:12:30Z) - 3D Generation for Embodied AI and Robotic Simulation: A Survey [19.441445845534158]
Embodied AIとロボットシステムは、シミュレーションベースのトレーニングと実世界の展開のために、スケーラブルで多様な物理的基盤を持つ3Dコンテンツにますます依存している。
この調査では、エンボディドAIの3D生成をレビューし、3D生成がエンボディドシステムで果たす3つの役割に関する文献を整理する。
データジェネレータでは、3Dジェネレーションは、下流のインタラクションのための、明瞭で物理的に接地された、変形可能なコンテンツを含むシミュレーション可能なオブジェクトとアセットを生成する。
シミュレーション環境では、対話的でタスク指向の世界を構築し、構造認識、制御可能、エージェントシーン生成を行う。
Sim2Real Bridgeはデジタルツイン再構築をサポート
論文 参考訳（メタデータ） (2026-04-29T10:17:55Z) - How Far Are Vision-Language Models from Constructing the Real World? A Benchmark for Physical Generative Reasoning [20.337890525032858]
物理生成推論のための新しいベンチマークであるDreamHouseを紹介する。
我々はこのベンチマークを、完全に体系化されたエンジニアリング標準を持つ住宅用木枠構築に基礎を置いている。
最終的なアウトプットのみを評価する静的ベンチマークとは異なり、DreamHouseは反復的なエージェントインタラクションをサポートする。
論文 参考訳（メタデータ） (2026-03-25T23:13:28Z) - World Simulation with Video Foundation Models for Physical AI [181.78265691303315]
我々は,[Cosmos-Predict2.5]と[Cosmos-Transfer2.5]を,エンボディインテリジェンスをスケールするための汎用ツールとしてリリースする。
我々はNVIDIA Open Model Licenseの下で、ソースコード、事前訓練されたチェックポイント、およびキュレートされたベンチマークをリリースします。
論文 参考訳（メタデータ） (2025-10-28T22:44:13Z) - VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。
そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。
人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
論文 参考訳（メタデータ） (2024-06-05T17:53:55Z) - The ThreeDWorld Transport Challenge: A Visually Guided Task-and-Motion
Planning Benchmark for Physically Realistic Embodied AI [96.86091264553613]
3Dワールドトランスポートチャレンジと呼ばれる視覚誘導と物理駆動のタスク・アンド・モーション計画ベンチマークを紹介します。
この課題では、シミュレーションされた実家環境において、2つの9-DOF関節アームを備えたエンボディエージェントをランダムに生成する。
エージェントは、家の周りに散在するオブジェクトの小さなセットを見つけ、それらをピックアップし、望ましい最終的な場所に輸送する必要があります。
論文 参考訳（メタデータ） (2021-03-25T17:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。