論文の概要: COWBOY: A Scalable Sim-to-Real Framework for Learning Contextual Whole-Body Manipulation

• arxiv url: http://arxiv.org/abs/2610.28948v1
• Date: Tue, 20 Oct 2026 21:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.151231
• Title: COWBOY: A Scalable Sim-to-Real Framework for Learning Contextual Whole-Body Manipulation
• Title（参考訳）: COWBOY:コンテキスト全体の操作を学習するスケーラブルなSim-to-Realフレームワーク
• Abstract要約: COWBOYは、コンテキスト全体の操作を学習するためのスケーラブルなsim-to-realフレームワークである。 COWBOYは、全身の精巧な把握において、ゼロショットを数百のオブジェクトに転送する。 ローカルRLの専門家は、オブジェクトインタラクションのローカルシーンでトレーニングされており、数千のフルシーンレイアウトで再利用することができる。
• 参考スコア（独自算出の注目度）: 58.772703603349704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile manipulators must adapt not only to objects, but also to the spatial context in which they appear: where to position the base, how to manipulate, and where to look while navigating surrounding scene geometry. To address this, we present COWBOY, a scalable sim-to-real framework for learning such contextual whole-body manipulation. On whole-body dexterous grasping, COWBOY transfers zero-shot to hundreds of objects and diverse in-the-wild scenes, spanning cluttered tabletops, shelves, drawers, and other unstructured settings. Rather than learning scene adaptation directly with RL in simulation, a vectorized environment-aware whole-body controller (WBC) handles reaching in thousands of scenes by coordinating base-arm motion, collision avoidance, and active vision. Then, local RL experts are trained in local scenes for object interaction and can be reused across thousands of full-scene layouts. We distill these composed WBC-RL teachers into a single vision policy that controls the mobile base, arm, dexterous hand, and actuated camera from point-cloud observations. The resulting policy exhibits contextual whole-body behavior, automatically adapting base placement, camera viewpoint, arm trajectory, and grasp strategy to observed scene and object geometry. Videos are available at https://cowboy-manip.com
• Abstract（参考訳）: 移動マニピュレータは、物体だけでなく、それらが現れる空間的文脈にも適応する必要がある。 これを解決するために,このようなコンテキスト全体の操作を学習するためのスケーラブルなsim-to-realフレームワークであるCOWBOYを提案する。 COWBOYは、全身のぼんやりとした把握において、ゼロショットを何百ものオブジェクトに転送する。 シミュレーションにおいてRLに直接適応するシーンを学習するのではなく、ベクトル化された環境対応全身制御装置(WBC)は、ベースアームの動き、衝突回避、アクティブビジョンを調整して数千のシーンに到達する。 次に、ローカルRLの専門家は、オブジェクトインタラクションのローカルシーンでトレーニングされ、数千のフルシーンレイアウトで再利用できる。 開発したWBC-RL教師は,移動体ベース,腕,手指,動体カメラをポイントクラウド観測から制御する単一ビジョンポリシーに蒸留する。 結果として得られたポリシーは、自動的にベース位置、カメラ視点、腕の軌跡、観察されたシーンとオブジェクトの幾何学に対する把握戦略に適応して、コンテキスト全体の振る舞いを示す。 ビデオはhttps://cowboy-manip.comで公開されている。

関連論文リスト

• From Video to Vision: Learning Generalizable Humanoid Carrying from Human Motion [8.374882784555522]
  ヒューマノイド物体搬送のための多段階教師支援学習フレームワークである textbfMOVER を提案する。 まず、ビデオからデータを収集し、GENMOとGMRを使ってビデオデータを再ターゲティングする。 テキストbf秒の段階では、参照動作の追跡を緩和し、報酬を調整することにより、ヒューマノイドが異なる位置から物体を輸送することを学ぶ。 我々はさらに、実際のヒューマノイドにポリシーを移し、モーションキャプチャフリー環境で様々な位置の物体を運んだ。
  論文  参考訳（メタデータ） (2026-10-10T04:31:06Z)
• Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation [104.43858048650357]
  PRISMは,ヒューマノイドのロボマニピュレーションスキルを教えるための,リアルからシミュレート・トゥ・リアルなフレームワークである。 PRISMは、ビデオ・ツー・ビデオ(V2V)生成を介して、何百もの多様な「偽物」人間とオブジェクトのインタラクションビデオを生成する。 我々は、このポリシーを現実世界の微調整なしで実際のロボットに展開することで、完全なパイプラインを実証する。
  論文  参考訳（メタデータ） (2026-09-29T17:59:45Z)
• UniMoCa: Unifying Motion and Camera Controls as Visual Proxies for Faithful Human Video Generation [50.391925716274926]
  textbfUniMoCaは、視覚空間におけるモーションとカメラコントロールを統合する表現駆動フレームワークである。 UniMoCaは、人間の動き制御、カメラ制御、時間的一貫性、カメラ認識の堅牢性において、最小限の複雑さで大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-08-03T09:18:13Z)
• EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents [85.77432303199176]
  EmbodMocapは2つの動くiPhoneを使ったポータブルで安価なデータ収集パイプラインである。 私たちのキーとなるアイデアは、二重RGB-Dシーケンスを共同で校正し、人間とシーンの両方を再構築することです。 収集したデータに基づいて、我々は3つの具体的AIタスクを強化した: モノクラーヒューマン・シーン・リコンストラクション(モノクラーヒューマン・シーン・リコンストラクション)、メトリックスケールで世界空間に整合した人間とシーンを出力するフィードフォワードモデル、物理ベースのキャラクターアニメーション。
  論文  参考訳（メタデータ） (2026-02-26T16:53:41Z)
• Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
  本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。 我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。 トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
  論文  参考訳（メタデータ） (2024-04-16T16:04:38Z)
• CAGE: Unsupervised Visual Composition and Animation for Controllable Video Generation [42.475807996071175]
  制御可能で合成可能なビデオ生成のための教師なしのアプローチを導入する。 私たちのモデルは、注釈のないビデオのデータセットをスクラッチからトレーニングしています。 空間と時間の所望の場所にオブジェクトを配置することで、可愛らしい斬新なシーンを作成し、オブジェクトをアニメーション化することができる。
  論文  参考訳（メタデータ） (2024-03-21T12:50:15Z)
• BlobGAN: Spatially Disentangled Scene Representations [67.60387150586375]
  本研究では,シーン生成モデルのための教師なし中間レベル表現を提案する。 この表現は、ピクセル単位でもイメージ単位でもなく、むしろ空間的に、奥行き順に並べられた特徴の「ブロブ」の集合としてモデル化されている。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• Footprints and Free Space from a Single Color Image [32.57664001590537]
  入力として1つのRGB画像が与えられた場合、可視面と隠蔽面の両方の形状を予測するモデルを導入する。 ステレオビデオシーケンスから、カメラポーズ、フレームごとの深さ、セマンティックセグメンテーションを用いて学習し、トレーニングデータを形成する。 トレーニングシーンの空間的カバレッジには驚くほど低いバーが必要であることが分かりました。
  論文  参考訳（メタデータ） (2020-04-14T09:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。