論文の概要: CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents

• arxiv url: http://arxiv.org/abs/2610.40799v1
• Date: Thu, 29 Oct 2026 18:01:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.463713
• Title: CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents
• Title（参考訳）: CaPtain: トレーニング後のコード・アズ・ポリティクス・ロボットエージェントのためのパイプライン
• Abstract要約: Code-as-policyは、ポリシーがロボットAPIに対してコードを記述するのと同じ形で、ロボット操作をキャストする。 私たちは、小さなオープンなVLMを有能なCaPエージェントに変換する、オープンなポストトレーニングパイプラインであるCaPtainを紹介します。
• 参考スコア（独自算出の注目度）: 23.172681836227753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Across coding, web, and tool-use tasks, language-model agents are now routinely trained with the same recipe: supervised fine-tuning (SFT) to learn the interface, then multi-turn reinforcement learning (RL) to master it. Code-as-policy (CaP) casts robot manipulation in the same form, as the policy writes code against robot APIs and reads back the results, so the same recipe should apply. Yet existing CaP agents sidestep training: they either prompt closed frontier models or delegate manipulation to pre-trained vision-language-action models (VLAs) and high-level skills, while small open vision-language models (VLMs) fail outright. We present CaPtain, an open post-training pipeline that turns a small open VLM into a capable CaP agent, with no VLA, frontier model, or privileged state at test time. CaPtain trains and deploys the policy inside CaPtain-Harness, which exposes low-level perception, geometry, and guarded-motion primitives across simulation and real hardware. We first align the base model via SFT on synthetic trajectories generated with GPT-6 Astra, then apply multi-turn RL. Multi-turn RL must credit tens of agent requests, whose physical effects often surface turns later, from a single end-of-episode outcome. We therefore introduce a physical critic that reads privileged simulator state, never seen by the policy, and credits each request by how much it changes the predicted chance of success. Starting from Qwen3.5-4B (0% zero-shot), CaPtain-4B reaches 55.4% held-out LIBERO success after SFT and 73.8% after RL. On LIBERO-PRO, it reaches 78.5%, surpassing several frontier-model agents, and its RL gains persist across three perturbation suites (+17.6 to +21.2 points). Without target-domain training, it attains 83.3% on SimplerEnv WidowX, exceeds frontier models on CaP-Bench, and runs on a real robot after simulation-only adaptation. We release all code, data, and model weights.
• Abstract（参考訳）: コーディング、Web、ツール使用タスク全体にわたって、言語モデルエージェントは、同じレシピで定期的にトレーニングされている。 Code-as-policy(CaP)は、ポリシーがロボットAPIに対してコードを書き、結果を読み返すので、同じレシピを適用すべきである。 既存のCaPエージェントは、クローズドフロンティアモデルや、事前訓練された視覚言語アクションモデル(VLA)とハイレベルスキルへのデリゲート操作を促進させるか、小さなオープンビジョン言語モデル(VLM)が完全に失敗する。 オープンなポストトレーニングパイプラインであるCaPtainは、小さなオープンなVLMを、VLA、フロンティアモデル、テスト時の特権状態のない、有能なCaPエージェントに変換する。 CaPtainはCaPtain-Harness内のポリシーをトレーニングし、デプロイする。CaPtain-Harnessはシミュレーションと実際のハードウェアで低レベルな知覚、幾何学、およびガードされたモーションプリミティブを公開する。 まず, GPT-6 Astra で生成した合成軌道上で SFT を用いてベースモデルを整列し, マルチターン RL を適用する。 マルチターンRLは数十件のエージェントリクエストを信用しなければならない。 したがって、我々は、特権化されたシミュレーター状態を読み取る物理的批判を導入し、ポリシーでは見られないようにし、それが成功の予測される確率をどれだけ変えているかでそれぞれの要求を信用する。 Qwen3.5-4B (0%ゼロショット) を皮切りに、CaPtain-4B は SFT 以降55.4%、RL 以降73.8% で LIBERO が成功している。 LIBERO-PROでは78.5%に達し、いくつかのフロンティアモデルエージェントを超え、RLは3つの摂動スイート(+17.6から+21.2ポイント)で持続する。 ターゲットドメインのトレーニングなしでは、SimplerEnv WidowXで83.3%に達し、CaP-Benchでフロンティアモデルを超え、シミュレーションのみの適応後、本物のロボットで走る。 すべてのコード、データ、モデルウェイトをリリースします。

関連論文リスト

• LLA-MPPI: Rapidly Adaptive Whole-body Control of Legged Robots with GPU-Accelerated Parallel Simulations [27.36353142476368]
  LLA-MPPI(Look-back and Look-ahead Adaptive Model Predictive Path Integral Control)を提案する。 この方法は、全体適応をGPUバッチされたコンタクトシミュレータのバンク上での選択に変換する。 4つのシミュレートされたタスクで97.5%の成功を達成している。
  論文  参考訳（メタデータ） (2026-10-07T17:30:13Z)
• HarnessPAI: An Evolving Harness for Physical AI [64.91964104275483]
  本稿では,物理AIのためのモデルおよび具体化に依存しないフレームワークであるHarnessPAIを紹介する。 ロールアウト内では、プログラムレベルでオープンループを実行する。 デスクトップロボットアーム、家庭用ロボット、ロボット掃除機、そして歩行エージェントのHarnessPAIは、純粋なアクションモデルとコード・アズ・ポリティクスのベースラインの両方を改善している。
  論文  参考訳（メタデータ） (2026-09-24T07:40:00Z)
• RL Bootstrapping of OpenVLA-OFT for a Novel Robot Embodiment [41.99844472131922]
  ケーブル駆動並列ロボット上でのOpenVLA-OFTのゼロデモエボディメントアライメントアライメント(ゼロデモエボディメントアライメントアライメントアライメント)について検討する。 シュミレーション状態から計算した濃密な幾何報酬を用いたシミュレーションにおいて強化学習を用いる。 結果はまだ堅牢な操作を確立していないが、RLのみのブートストラッピングが最初の使用可能な言語条件のコントローラを作成できるという強い証拠を提供する。
  論文  参考訳（メタデータ） (2026-08-02T05:33:36Z)
• Sequential Planning via Anchored Robotic Keypoints [3.176338968032152]
  トレーニング不要なニューロシンボリック操作システムであるSPARK(Anchored Robotic Keypoints, SPARK)について述べる。 単一のGeminiコールは、構成可能なキネマティックプリミティブの型付き振舞いツリー(BT)としてプランを構成する。 2つ目のGeminiコールでは、オブジェクトごとに3つの代替テキストプロンプトが提案され、SAM3がそれぞれを評価します。 代替のプロンプトは、空間スイートに+27.7、オブジェクトスイートに+10.0、全体のリカバリループに+5.0を加算する。
  論文  参考訳（メタデータ） (2026-06-29T17:48:01Z)
• RHO: Your Coding Agent is Secretly a Roboticist [24.9798218503493]
  コード・アズ・ポリシーズ(CaP)は、大きな言語モデル(LLM)が知覚、計画、制御プリミティブを構成することでロボットのタスクを解くコードを書くことができることを示した。 最近のCaPシステムは、テスト時に多ターンコード生成ループに依存しており、リアルタイムロボット制御では不可能であることが多い。 ロボットハーネス最適化(ロボティクス・ハーネス・オプティマイゼーション、英: Robotics Harness Optimization、RHO)は、ツール対応のコーディングエージェントがトレーニング時に、解釈可能な、ニューロシンボリックなマルチファイルポリシーリポジトリの提案と検索を行う新しいパラダイムである。
  論文  参考訳（メタデータ） (2026-06-15T09:30:12Z)
• ChipMATE: Multi-Agent Training via Reinforcement Learning for Enhanced RTL Generation [55.947962672433675]
  ChipMATEは、RTL生成のための最初の自己学習型マルチエージェントフレームワークである。 ChipMATEは産業的な実践に触発され、VerilogエージェントとPythonのリファレンスモデルエージェントをペアにし、相互に出力を検証する。 ChipMATEは、VerilogEval V2で75.0%と80.1%パス@1を4Bと9Bベースモデルで達成している。
  論文  参考訳（メタデータ） (2026-05-13T01:04:21Z)
• CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation [48.85772216740915]
  "Code-as-Policy" は、実行可能コードがデータ集約型のVision-Language-Actionメソッドを補完する方法について考察している。 ロボット操作におけるCode-as-PolicyエージェントのオープンアクセスフレームワークであるCaP-Xを提案する。
  論文  参考訳（メタデータ） (2026-03-23T18:08:10Z)
• rStar2-Agent: Agentic Reasoning Technical Report [25.266747156205266]
  rStar2-Agentは、エージェント強化学習を用いて訓練された14Bの数学推論モデルであり、フロンティアレベルの性能を実現する。 この目的のために、rStar2-Agentはトレーニング済みの14Bモデルを1週間以内に510RLのステップで最先端に引き上げ、平均パス@1スコアはAIME24で80.6%、AIME25で69.8%となる。
  論文  参考訳（メタデータ） (2025-08-28T12:45:25Z)
• Semi-off-Policy Reinforcement Learning for Vision-Language Slow-Thinking Reasoning [68.25125496950928]
  本稿では、視覚言語によるスローtHInking reAsoningのためのシンプルでスケーラブルなセミオフポリシーRLであるSOPHIAを提案する。 SOPHIAは、訓練可能なLVLMからのオンラインの視覚的理解と、言語モデルからの非政治的なスロー思考推論を組み合わせることで、セミ・オフ・ポリティクスの行動モデルを構築している。 8Bおよび38BサイズのInternVL2.5およびInternVL3.0を用いた実験はSOPHIAの有効性を示した。
  論文  参考訳（メタデータ） (2025-07-22T17:59:34Z)
• DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning [61.10299147201369]
  本稿では,Wild デバイス制御エージェントをトレーニングするための新しい自律型 RL 手法である DigiRL を提案する。 VLMベースの評価器を備えた,スケーラブルで並列化可能なAndroid学習環境を構築する。 我々はAndroid-in-the-Wildデータセットを使用してDigiRLの有効性を実証し、RLでトレーニングした1.3B VLMは49.5%の絶対改善を実現した。
  論文  参考訳（メタデータ） (2024-06-14T17:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。