論文の概要: Towards a Systematic Study of Embodied System 2 over Full Task Execution Cycles
- arxiv url: http://arxiv.org/abs/2610.17657v1
- Date: Tue, 13 Oct 2026 03:36:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 17:52:54.345398
- Title: Towards a Systematic Study of Embodied System 2 over Full Task Execution Cycles
- Title(参考訳): フルタスク実行サイクルにおけるエンボディードシステム2の体系的研究
- Abstract要約: SCOPERは、観測対象の計画、実行、回復を研究するためのスイートである。
その構築と検証パイプラインは、BEHAVIORとProcTHORをまたいだ870のタスクを生成する。
- 参考スコア(独自算出の注目度): 43.5772068659503
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An embodied brain, or System 2, must turn an abstract goal into actions while discovering relevant scene conditions and checking whether executed skills achieved their intended effects. Open-loop evaluations cannot test observations shaped by an agent's decisions, while some closed-loop evaluations provide limited evidence during execution or assume idealized skill outcomes. We introduce SCOPER, a suite for studying observation-grounded planning, execution, and recovery. SCOPER-bench combines high-level goals, ongoing visual observations, a shared rule-based System 1 for low-level actions, and controlled execution failures. Its construction and validation pipeline yields 870 tasks across BEHAVIOR and ProcTHOR, complemented by about 3,500 situated questions tied to the evaluated agent's execution. Benchmark results reveal difficulties in retaining scene evidence, monitoring progress, and recovering from unexpected outcomes. To address these difficulties, SCOPER-harness combines Evidence Memory and Progress Verification with a dynamic task agenda and bounded exploration, without additional model training. Across two evaluated open-source backbones and two simulators, the harness improves task success by 11.1-28.6%; a harnessed 9B model outperforms a directly executed 27B model on both simulators. In an offline next-action evaluation using observations from 200 real-robot demonstrations, the harness also improves full-call accuracy by 14.7% and 15.3%. SCOPER provides a setting for diagnosing and improving embodied reasoning throughout a complete task execution cycle.
- Abstract(参考訳): 具体化された脳、またはシステム2は、抽象的な目標をアクションに変換し、関連するシーン条件を発見し、実行されたスキルが意図した効果を達成するかどうかを確認する必要がある。
オープンループ評価はエージェントの判断によって形成される観察をテストすることはできないが、クローズドループ評価は実行中に限られた証拠を提供するか、理想化されたスキル成果を仮定する。
SCOPERは,観測対象の計画,実行,回復を研究対象とするスイートである。
SCOPER-benchは、ハイレベルな目標、進行中の視覚的観察、低レベルなアクションのための共有ルールベースのシステム1、そして制御された実行障害を組み合わせている。
その構築と検証パイプラインはBEHAVIORとProcTHORをまたいだ870のタスクを出力し、評価されたエージェントの実行に関連する約3,500の質問を補完する。
ベンチマークの結果は、現場証拠の保持、進捗の監視、予期せぬ結果からの回復の難しさを明らかにしている。
これらの問題に対処するため、SCOPER-harnessは、Evidence Memory and Progress Verificationと動的タスクアジェンダと境界探索を、追加のモデルトレーニングなしで組み合わせている。
2つの評価されたオープンソースのバックボーンと2つのシミュレータで、ハーネスはタスク成功率を11.1-28.6%改善し、ハーネス付き9Bモデルは両方のシミュレータ上で直接実行された27Bモデルより優れている。
200個の実ロボットによる観測によるオフラインの次の動作評価では、フルコールの精度も14.7%と15.3%向上した。
SCOPERは、完全なタスク実行サイクルを通じて、具体的推論を診断し改善するための設定を提供する。
関連論文リスト
- Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning [49.28013800186945]
Ego2Worldは、アノテートされた調理アクティビティを、部分的な観察の下で実行可能な計画環境に変換するベンチマークである。
コンパイラはソースステップとオブジェクトをシンボリックアクションルール、永続的な世界状態、明示的なタスク条件にリンクする。
世界国家とエージェントの信念は別々に維持され、計画と情報の再利用に関する制御された研究を可能にする。
論文 参考訳(メタデータ) (2026-10-02T02:51:03Z) - Human-AI Collaboration for Multi-Line Task Adjustment Using Local Large Language Models and a Digital Twin [0.0]
本研究では,局所的な大規模言語モデル,デジタルツイン,人的意思決定を統合したマルチラインタスク調整システムを提案する。
Propose-Verify-Decideワークフローオペレータの意図は、構造化された要件に変換し、一連の候補戦略を生成し、セマンティクス、シミュレーション実行、運用上の制約をチェックする。
この結果は、トレーサブルな戦略レビューワークフローを示しているが、全体的な信頼性や長期的な安定性は確立していない。
論文 参考訳(メタデータ) (2026-09-24T05:48:53Z) - LIBERO-VPro: Benchmarking Closed-Loop Visual Robustness of Robotic Foundation Models [61.038310084204056]
本稿では,ロボット基礎モデルの閉ループ視覚的堅牢性を評価するためのベンチマークであるLIBERO-VProを紹介する。
約196,000回にわたって3つの視覚言語行動モデルと3つの世界行動モデルを評価した。
以上の結果から,強い名目性能は視覚的接地や適応において重大な弱点を隠蔽する可能性が示唆された。
論文 参考訳(メタデータ) (2026-09-21T09:43:41Z) - CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。
本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
論文 参考訳(メタデータ) (2026-09-21T05:14:34Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳(メタデータ) (2026-09-17T01:24:51Z) - ClawTrack: Towards Trace-Level Evaluation and Improvement of Real-World Autonomous Agents [23.840537431318296]
エージェントが何を達成し、どのように達成するかを同時に測定するデュアルアセスメントベンチマークであるClawTrackを提示する。
ClawTrackは8つのドメインにわたる320のタスクと25以上の決定論的モックサービスで構成されている。
プロセスグレーダは、12,541のタスク固有の項目で固定された4次元(ゴールアライメント、効率性、情報利用、結果検証)に沿って各推論ターンをスコアする。
論文 参考訳(メタデータ) (2026-07-30T11:18:47Z) - ChromaFlow: A Negative Ablation Study of Orchestration Overhead in Tool-Augmented Agent Evaluation [0.0]
本稿では,プランナー指向実行,特殊なツール使用,テレメトリ駆動評価を中心に構築されたツール拡張型自律推論フレームワークを提案する。
クリーンな評価制約の下でGAIA 2023 Level-1バリデーションタスクのクロマフローを解析する。
論文 参考訳(メタデータ) (2026-05-13T20:40:37Z) - Hierarchical Vision Language Action Model Using Success and Failure Demonstrations [60.82332413442677]
階層型視覚-言語-アクションモデルであるVINEを導入し,高レベル推論を低レベル制御から分離する。
システム2は、2Dシーングラフの抽象化を介して、実現可能性誘導木探索を行う。
システム1はエージェントのコアスキルを変更することなく、低レベルのアクションを実行する。
論文 参考訳(メタデータ) (2025-12-03T15:58:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。