論文の概要: Embodied First Exam
- arxiv url: http://arxiv.org/abs/2611.12177v1
- Date: Mon, 09 Nov 2026 10:29:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.282283
- Title: Embodied First Exam
- Title(参考訳): Embodied (複数形 Embodieds)
- Abstract要約: Embodied First Examは、物理世界に入る前に、コーディングエージェントの最初の試験として機能する。
47のロボットで35のスイートで1156のタスクをこなす。
456のコアタスクでは、最も強力な8つのエージェント、CodexのGPT-6 Astraが34%の成功率を達成した。
- 参考スコア(独自算出の注目度): 174.26470416446247
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Early successes on agentic robotics point to a potential paradigm shift toward using coding agents to control robots. Existing robotics benchmarks are built around visuomotor policy learning, leaving it open whether coding agents can reliably control diverse robots under physical-world constraints. We therefore introduce the Embodied First Exam, a unified, comprehensive, and agent-native evaluation framework where coding agents can choose their own control approach: direct control, code to control, or train a policy to control. We hope it serves as a first exam for coding agents before they enter the physical world, with 1,156 tasks in 35 suites on 47 robots, including 9 new suites that go beyond pick-and-place to spatial puzzles, dexterous manipulation, multi-robot interaction, dynamic whole-body control, and sim-to-sim engineering. Each task can be run in up to three evaluation settings. The Standard Setting mimics the real world: the agent receives only sensor observations and, by default, cannot reset the environment. Its Realtime variant keeps the environment running while the agent reasons. The Privileged Setting gives the agent access to the full simulator state and unlimited resets, allowing it to search for an oracle solution for training purposes. Success rates in this setting serve as an approximate upper bound. On the 456 core tasks, the strongest of eight agents, GPT-6 Astra in Codex, achieves a success rate of 34% in the Standard Setting, leaving much room for improvement. To see where agents fail, we label the stage at which failed attempts go wrong and compare failures across agents, settings, and stage categories.
- Abstract(参考訳): エージェントロボットの初期の成功は、ロボットを制御するためにコーディングエージェントを使うことへのパラダイムシフトの可能性を示している。
既存のロボティクスのベンチマークは、バイスモータのポリシー学習を中心に構築されており、コーディングエージェントが物理世界の制約の下で多様なロボットを確実に制御できるかどうかを公開している。
このフレームワークでは、直接制御、制御のためのコード、制御ポリシーのトレーニングといった、コーディングエージェントが独自の制御アプローチを選択することができる。
47のロボットの35組のスイートに1,156のタスクがあり、9つの新しいスイートが、ピック・アンド・プレイス・トゥ・スペースパズル、巧妙な操作、マルチロボットのインタラクション、ダイナミックな全身制御、シム・トゥ・シム・エンジニアリングを含む、物理的な世界に入る前に、コーディングエージェントの最初の試験として機能することを願っている。
各タスクは最大3つの評価設定で実行できる。
エージェントはセンサーの観察のみを受け取り、デフォルトでは環境をリセットすることができない。
そのリアルタイムの亜種は、エージェントが原因で環境を動作させ続ける。
Privileged Settingでは、エージェントが完全なシミュレータの状態と無制限のリセットにアクセスでき、トレーニング目的のオラクルソリューションを検索できる。
この設定における成功率は、近似上界として機能する。
456のコアタスクでは、最も強力な8人のエージェント、コーデックスのGPT-6 Astraが標準設定で34%の成功率を獲得し、改善の余地を多く残している。
エージェントがどこで失敗したかを確認するために、失敗が失敗するステージをラベル付けし、エージェント、設定、ステージカテゴリ間で失敗を比較します。
関連論文リスト
- EmbodiedLab: Benchmarking Embodied Agents That Act to Know [60.785006927377005]
身体的エージェントは、どのように、いつ周囲と対話するかを自分で決めることで、現実世界の目標を達成することが期待されている。
EmbodiedLabは、ロボットが知る必要があるベンチマークです。
開発者のコーディングエージェントにおける6つのフロンティアモデルについて、ネイティブな観察と制御を行い、知覚とモーションプランニングを加えて評価した。
論文 参考訳(メタデータ) (2026-10-26T13:06:33Z) - SEAR: Self-Evolving Agentic Robotics [23.247349010987023]
SEAR(Self-Evolving Agentic Robotics)は,2つの質問に基づいて構築されたフレームワークとベンチマークである。
エージェントは本当に学習しているのか、それとも、もっと頻繁に試すのか?そして、新しいタスク、新しいシミュレーター、そして本物のロボットで、その学習が役立つのか?
フレームワークはエージェントを3つのモードで実行する: ポリシー(コード・アズ・ポリティクス)となるコードを書き、コントロールループ(エージェント・アズ・ポリティシー)に生きるか、あるいは視覚言語アクションモデル(自動検索)を微調整する研究者として働く。
論文 参考訳(メタデータ) (2026-10-13T17:40:20Z) - OpenRUA: Robot-Use Agents Are Zero-Shot Visuomotor Policies [18.117760333020538]
コーディングエージェントは、ロボット制御プログラムを書いて実行することで、物理的な世界にリーチを広げている。
我々は,抽象レイヤをバイパスするゼロ・アブストラクション・ハーネスであるOpenRUAを紹介した。
このワークスペース内では、OpenRUAはファイルI/Oとして認識をリキャストし、コーディングとして操作する。
論文 参考訳(メタデータ) (2026-10-01T20:32:41Z) - Make Code as Policy Great Again: Frontier Agents Write, Call, and Evolve Robot Tools [15.969252442943345]
URAI(Universal Robot-Agent Interface)は、ロボットツールを構築するプログラミングエージェントと、それらをフィードバックループで使用する実行エージェントを結合する。
我々は,現実世界の7つのAgileXデュアルアームタスク,オブジェクト操作,布の折り畳み,人と対話するtic-tac-toeについて,URAIを評価した。
論文 参考訳(メタデータ) (2026-09-30T05:23:25Z) - CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation [55.1660787557339]
CodeActionBenchは、エージェント的なCode-as-Policyを通じてこの機能を評価する25の操作タスクのベンチマークである。
共有ロボットAPIは、RGB観測、校正された幾何学的操作、ロボットのフィードバック、および有界運動を提供し、タスク依存の判断を評価対象に残す。
9つの構成と675の試行で大規模な評価が行われ、成功率は2.7%から73.3%である。
最も強力な構成であるGPT-6 Astra with Codex CLIは、3回の試行で少なくとも25タスクのうち22タスクを解決した。
論文 参考訳(メタデータ) (2026-09-27T17:59:31Z) - Generalizing Manipulation Skills with a Local Coding Agent [0.47598237350828443]
我々は、ローカルなオープンウェイトVLMであるQwen3.8-27Bを、コーディングエージェントハーネスからUR3eロボットアームを駆動させる。
キネマティクス、安全限度、古典的なコンピュータビジョン技術を実装したサービスの上に独自のコードを書き、実行する。
我々は,タスクの複雑さに応じて,3.4~67.5分間の期間で45回中30回にのぼる一般化を観察した。
論文 参考訳(メタデータ) (2026-09-22T14:32:17Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳(メタデータ) (2026-05-18T17:59:03Z) - Workspace Optimization: How to Train Your Agent [49.579258311548635]
我々はエージェントのEmphworkspaceであり、それが読み取り、書き込み、テストする構造化された外部基質であると主張している。
本稿では,重み空間トレーニングの構造を反映して,作業空間を進化させる原理的手法を提案する。
ARC-AGI-3のマルチエージェントハーネスであるDreamTeamのアイデアをインスタンス化する。
論文 参考訳(メタデータ) (2026-05-10T16:52:10Z) - AgentGym: Evolving Large Language Model-based Agents across Diverse Environments [116.97648507802926]
大規模言語モデル(LLM)はそのようなエージェントを構築するための有望な基盤と考えられている。
我々は、自己進化能力を備えた一般機能 LLM ベースのエージェントを構築するための第一歩を踏み出す。
我々はAgentGymを提案する。AgentGymは、幅広い、リアルタイム、ユニフォーマット、並行エージェント探索のための様々な環境とタスクを特徴とする新しいフレームワークである。
論文 参考訳(メタデータ) (2024-06-06T15:15:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。