論文の概要: Humanoid Agent via Embodied Chain-of-Action Reasoning with Multimodal Foundation Models for Zero-Shot Loco-Manipulation

• arxiv url: http://arxiv.org/abs/2504.09532v3
• Date: Mon, 06 Oct 2025 06:14:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:58.414907
• Title: Humanoid Agent via Embodied Chain-of-Action Reasoning with Multimodal Foundation Models for Zero-Shot Loco-Manipulation
• Title（参考訳）: ゼロショットロコマニピュレーションのためのマルチモーダルファンデーションモデルを用いたヒューマノイド剤のエボディード・チェーン・オブ・アクション・推論
• Authors: Congcong Wen, Geeta Chandra Raju Bethala, Yu Hao, Niraj Pudasaini, Hao Huang, Shuaihang Yuan, Baoru Huang, Anh Nguyen, Mengyu Wang, Anthony Tzes, Yi Fang,
• Abstract要約: Humanoid-COAはゼロショットロコ操作のためのエボディード・チェーン・オブ・アクション機構と基礎モデル推論を統合している。 我々のフレームワークは、操作、移動、およびロコ操作タスクにおいて、以前のベースラインを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 23.43820490179566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humanoid loco-manipulation, which integrates whole-body locomotion with dexterous manipulation, remains a fundamental challenge in robotics. Beyond whole-body coordination and balance, a central difficulty lies in understanding human instructions and translating them into coherent sequences of embodied actions. Recent advances in foundation models provide transferable multimodal representations and reasoning capabilities, yet existing efforts remain largely restricted to either locomotion or manipulation in isolation, with limited applicability to humanoid settings. In this paper, we propose Humanoid-COA, the first humanoid agent framework that integrates foundation model reasoning with an Embodied Chain-of-Action (CoA) mechanism for zero-shot loco-manipulation. Within the perception--reasoning--action paradigm, our key contribution lies in the reasoning stage, where the proposed CoA mechanism decomposes high-level human instructions into structured sequences of locomotion and manipulation primitives through affordance analysis, spatial inference, and whole-body action reasoning. Extensive experiments on two humanoid robots, Unitree H1-2 and G1, in both an open test area and an apartment environment, demonstrate that our framework substantially outperforms prior baselines across manipulation, locomotion, and loco-manipulation tasks, achieving robust generalization to long-horizon and unstructured scenarios. Project page: https://humanoid-coa.github.io/
• Abstract（参考訳）: ロボット工学における基本的な課題は、全身の移動と器用な操作を統合したヒューマノイド・ロコ・マニピュレーションである。 体全体の調整とバランスの他に、人間の指示を理解し、それらを密接な行動列に変換することが、中心的な困難である。 基礎モデルの最近の進歩は、移動可能なマルチモーダル表現と推論能力を提供するが、既存の取り組みは、移動または単独での操作に限られており、ヒューマノイド設定の適用性は限られている。 本稿では,ゼロショットロコ操作のための基礎モデル推論と共振器機構を統合した最初のヒューマノイドエージェントフレームワークであるHumanoid-COAを提案する。 認識-推論-行動パラダイムの中では、我々の重要な貢献は推論段階にあり、提案されたCoAメカニズムは、高レベルの人間による指示を、余裕分析、空間的推論、身体全体の行動推論を通じて、移動と操作プリミティブの構造化シーケンスに分解する。 オープンテストエリアとマンション環境の両方における2つのヒューマノイドロボットUnitree H1-2とG1の広範囲にわたる実験により、我々のフレームワークは操作、移動、ロコ操作タスクの先進的ベースラインを大幅に上回り、長期・非構造シナリオへの堅牢な一般化を実現していることが示された。 プロジェクトページ: https://humanoid-coa.github.io/

関連論文リスト

• Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control [72.00655365269]
  本稿では,協調的軌跡定式化を通じてオブジェクト間ダイナミクスをモデル化する新しいフレームワークであるRoboMasterを紹介する。 オブジェクトを分解する従来の方法とは異なり、我々のコアは、相互作用プロセスを3つのサブステージ(相互作用前、相互作用後、相互作用後)に分解することである。 提案手法は既存の手法よりも優れており,ロボット操作のための軌道制御ビデオ生成における最先端性能を確立している。
  論文  参考訳（メタデータ） (2025-06-02T17:57:06Z)
• Learning Coordinated Bimanual Manipulation Policies using State Diffusion and Inverse Dynamics Models [22.826115023573205]
  我々は人間の操作戦略の予測的性質をロボット模倣学習に注入する。 我々は,将来の状態を予測し,予測状態を達成するロボット動作を計算するために拡散モデルを訓練する。 我々のフレームワークは、常に最先端のステート・ツー・アクション・マッピングポリシーを上回ります。
  論文  参考訳（メタデータ） (2025-03-30T01:25:35Z)
• CAIMAN: Causal Action Influence Detection for Sample Efficient Loco-manipulation [17.94272840532448]
  本稿では、疎タスク報酬のみに依存するロコ操作学習のための新しいフレームワークであるCAIMANを紹介する。 我々は,低レベルのロコモーションポリシとタスク関連速度コマンドを優先する高レベルのポリシーを組み合わせることによって,階層的な制御戦略を採用する。 フレームワークの優れたサンプル効率、多様な環境への適応性、そして微調整なしでハードウェアへの移行に成功したことを実証する。
  論文  参考訳（メタデータ） (2025-02-02T16:16:53Z)
• Grounding Language Models in Autonomous Loco-manipulation Tasks [3.8363685417355557]
  異なるシナリオにおけるタスクに基づいて行動を学び、選択し、計画する新しいフレームワークを提案する。 我々は,大規模言語モデル(LLM)の計画と推論機能を活用し,階層的なタスクグラフを構築する。 CENTAUROロボットを用いたシミュレーションおよび実世界の実験により、言語モデルに基づくプランナーが、新しいロコ操作タスクに効率的に適応できることが示されている。
  論文  参考訳（メタデータ） (2024-09-02T15:27:48Z)
• Autonomous Behavior Planning For Humanoid Loco-manipulation Through Grounded Language Model [6.9268843428933025]
  大規模言語モデル(LLM)は、意味情報の理解と処理のための強力な計画と推論能力を示している。 本稿では,ロボットが与えられたテキストによる指示の下で,自律的に動作や低レベル実行を計画できる新しい言語モデルベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-15T17:33:32Z)
• Embodied Instruction Following in Unknown Environments [66.60163202450954]
  未知環境における複雑なタスクに対するEIF(Embodied instruction following)法を提案する。 我々は,ハイレベルなタスクプランナと低レベルな探索コントローラを含む,階層的な具体化命令に従うフレームワークを構築した。 タスクプランナに対しては、タスク完了プロセスと既知の視覚的手がかりに基づいて、人間の目標達成のための実行可能なステップバイステッププランを生成する。
  論文  参考訳（メタデータ） (2024-06-17T17:55:40Z)
• Unified Task and Motion Planning using Object-centric Abstractions of Motion Constraints [56.283944756315066]
  本稿では,タスクとモーションプランニングを一つの検索に統一するTAMP手法を提案する。 我々のアプローチは、オフザシェルフAIサーチの計算効率を活用して、物理的に実現可能な計画が得られるような、オブジェクト中心の動作制約の抽象化に基づいている。
  論文  参考訳（メタデータ） (2023-12-29T14:00:20Z)
• ThinkBot: Embodied Instruction Following with Thought Chain Reasoning [66.09880459084901]
  EIF(Embodied Instruction following)は、複雑な環境下でオブジェクトを相互作用させることで、エージェントが人間の指示を完了させる。 我々は,人間の指導における思考連鎖を原因とした思考ボットを提案し,その不足した行動記述を復元する。 私たちのThinkBotは、成功率と実行効率の両面で、最先端のEIFメソッドよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2023-12-12T08:30:09Z)
• Hierarchical generative modelling for autonomous robots [8.023920215148486]
  人型ロボットが、移動、操作、把握の全体的利用を必要とする複雑なタスクを自律的に完了できることを示します。 具体的には、箱を回収して輸送し、ドアを通り抜けて目的地に到達し、接近し、サッカーを蹴ることのできるヒューマノイドロボットの能力を示すとともに、身体の損傷や地面の不規則性の存在下で頑健な性能を示す。
  論文  参考訳（メタデータ） (2023-08-15T13:51:03Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Active Exploration for Robotic Manipulation [40.39182660794481]
  本稿では,スパース・リワード型ロボット操作作業における効率的な学習を可能にするモデルに基づく能動探索手法を提案する。 我々は,提案アルゴリズムをシミュレーションおよび実ロボットで評価し,スクラッチから本手法を訓練した。
  論文  参考訳（メタデータ） (2022-10-23T18:07:51Z)
• Procedure Planning in Instructional Videosvia Contextual Modeling and Model-based Policy Learning [114.1830997893756]
  本研究は,実生活ビデオにおける目標指向アクションを計画するモデルを学習することに焦点を当てる。 本研究では,ベイズ推論とモデルに基づく模倣学習を通して,人間の行動のモデル化を行う新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-05T01:06:53Z)
• Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation [55.31301153979621]
  我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。 未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。 提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-28T16:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。