論文の概要: CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation
- arxiv url: http://arxiv.org/abs/2609.33807v1
- Date: Sun, 27 Sep 2026 17:59:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 16:36:31.737392
- Title: CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation
- Title（参考訳）: CodeActionBench: 身体操作のためのエージェントコード・アズ・ポリシーの評価
- Abstract要約: CodeActionBenchは、エージェント的なCode-as-Policyを通じてこの機能を評価する25の操作タスクのベンチマークである。
共有ロボットAPIは、RGB観測、校正された幾何学的操作、ロボットのフィードバック、および有界運動を提供し、タスク依存の判断を評価対象に残す。
9つの構成と675の試行で大規模な評価が行われ、成功率は2.7%から73.3%である。
最も強力な構成であるGPT-6 Astra with Codex CLIは、3回の試行で少なくとも25タスクのうち22タスクを解決した。
- 参考スコア（独自算出の注目度）: 55.1660787557339
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How well can general-purpose multimodal models turn visual understanding and reasoning into embodied manipulation via executable code? We introduce CodeActionBench, a benchmark of 25 manipulation tasks that evaluates this capability through agentic Code-as-Policy. Without task-specific fine-tuning, demonstrations, external specialist perception or grasp modules, privileged scene state, or predefined task policies, agents should select visual evidence, form task-relevant 3D estimates, construct manipulation targets, and iteratively execute and revise their policies. A shared robot API provides RGB observations, calibrated geometric operations, robot feedback, and bounded motion, leaving task-dependent decisions to the evaluated agent. Fixed task instances, resource budgets, and a hidden physical-outcome verifier support controlled comparisons across models and harness configurations. Extensive evaluations across nine configurations and 675 attempts achieve success rates ranging from 2.7% to 73.3%. The strongest configuration, GPT-6 Astra with Codex CLI, solves 22 of 25 tasks at least once in three attempts, demonstrating the best performance while still leaving substantial room for improvement. Trajectory analyses reveal difficulties in spatial alignment, object retention, and completion judgment, including task failures despite successfully completed motions. CodeActionBench provides a controlled testbed for measuring how general-purpose models translate their capabilities into manipulation behavior and for examining typical failure scenarios in that process.
- Abstract（参考訳）: 汎用マルチモーダルモデルは、視覚的理解と推論を実行可能なコードによる具体的操作に変換するにはどうすればよいか?
エージェント的なCode-as-Policyを通じてこの機能を評価する25の操作タスクのベンチマークであるCodeActionBenchを紹介する。
タスク固有の微調整、デモンストレーション、外部スペシャリストの知覚、モジュールの把握、特権的なシーン状態、あるいは事前に定義されたタスクポリシーがなければ、エージェントは視覚的証拠を選択し、タスク関連3D推定を作成し、操作ターゲットを構築し、ポリシーを反復的に実行し、修正する必要がある。
共有ロボットAPIは、RGB観測、校正された幾何学的操作、ロボットのフィードバック、および有界運動を提供し、タスク依存の判断を評価対象に残す。
修正されたタスクインスタンス、リソース予算、隠れた物理的アウトカム検証は、モデル間の比較を管理し、構成を活用できる。
9つの構成と675の試行で大規模な評価が行われ、成功率は2.7%から73.3%である。
最も強力な構成であるGPT-6 Astra with Codex CLIは、3回の試行で少なくとも25タスクのうち22タスクを解決した。
軌道解析は、完了した動作にもかかわらずタスク障害を含む空間的アライメント、オブジェクト保持、完了判定の困難を明らかにする。
CodeActionBenchは、汎用モデルが機能をどのように操作行動に変換するかを測定し、そのプロセスで典型的な障害シナリオを調べるための制御されたテストベッドを提供する。
関連論文リスト
- VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳（メタデータ） (2026-09-17T01:24:51Z) - ManiSkillFormer: Demonstration-Free Compositional Manipulation via Geometric Contracts and Agentic Skill Graph [9.644269617314132]
ManiSkillFormerは、デモフリーで作曲操作のためのフレームワークである。
契約は知覚モジュールを観察からタスク関連3次元幾何学へ誘導する。
デモフリーピック・アンド・プレイス(30インスタンス)におけるデュアルアームロボット上でのManiSkillFormerの評価を行った。
論文 参考訳（メタデータ） (2026-09-14T20:45:53Z) - IMBench: A Benchmark for Intuitive Robotic Manipulation [11.843368723732679]
人間は推論と運動制御を組み合わせて、様々な制約の下で複雑な操作タスクを解く。
既存のベンチマークは、この統合を達成できない。
IMBENCHは直感的な操作を知覚、身体的推論、行動生成、反復実行にまたがる統合機能として評価するためのベンチマークである。
論文 参考訳（メタデータ） (2026-07-17T05:34:29Z) - Coding Agents Are Guessing: Measuring Action-Boundary Violations in Underspecified DevOps Instructions [16.871217408296932]
符号化エージェントにおける動作境界違反を測定するためのベンチマークであるUnderSpecBenchを提案する。
UnderSpecBenchには、ドキュメント化されたインシデントやCVE、ツールの動作を基盤とする69のタスクファミリが含まれている。
タスクの難易度から不特定性を分離するために、各タスクは同じ環境と地道な安全なアクションを維持します。
論文 参考訳（メタデータ） (2026-07-02T15:11:39Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - AnyPos: Automated Task-Agnostic Actions for Bimanual Manipulation [24.199522837278128]
本稿では,タスク固有の条件からアクション実行を分離するタスク非依存のアクションパラダイムを提案する。
ATARAはスケーラブルなセルフ教師付きフレームワークで、人間の遠隔操作と比較して30倍以上のコレクションを高速化する。
我々はArm-Decoupled EstimationとDirection-Aware Decoderを備えた逆動的モデルであるAnyPosを提案する。
論文 参考訳（メタデータ） (2025-07-17T03:48:57Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - Code Models are Zero-shot Precondition Reasoners [83.8561159080672]
シーケンシャルな意思決定タスクのために、コード表現を使ってアクションの前提条件を推論します。
本稿では,政策によって予測される行動が前提条件と一致していることを保証する事前条件対応行動サンプリング戦略を提案する。
論文 参考訳（メタデータ） (2023-11-16T06:19:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。