論文の概要: HITCH: Teaching a Vision-Language Model to Operate a Humanoid through a Whole-Body Harness

• arxiv url: http://arxiv.org/abs/2611.08039v1
• Date: Thu, 05 Nov 2026 13:54:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.527135
• Title: HITCH: Teaching a Vision-Language Model to Operate a Humanoid through a Whole-Body Harness
• Title（参考訳）: HITCH:全身のハーネスを通してヒューマノイドを操作する視覚言語モデル
• Abstract要約: HITCH(Harness Interfaces To Command Humanoids)は、VLMが画像中の任意の点の3D位置を知覚が返すハーネスである。 シーンの測定とコマンドの実行の両方が、タスクの成功を正確に引き起こすことに気付きました。 次に,教師がHITCHを通じて5つの基本課題を解決し,ヒューマノイドの操作方法を学習する軌道上のVLMを微調整する。
• 参考スコア（独自算出の注目度）: 15.843297169223442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enabling vision-language models (VLMs) to control humanoid robots requires both reliable whole-body interfaces and knowledge of how to use the body that carries over across tasks. We present HITCH (Harness Interfaces To Command Humanoids), a harness in which perception returns the 3D position of any point the VLM selects in its image, and execution turns commands for the pelvis, torso, hands, walking, and gaze into whole-body motion with a learned tracker. We find that both measuring the scene and executing commands accurately raise task success. We then fine-tune a VLM on trajectories in which teacher policies solve five base tasks through HITCH, so that it learns how to operate the humanoid. Without task-specific trajectories, the fine-tuned model completes 51% of SIMPLE episodes and 42.5% of HumanoidArena episodes, and adding five trajectories per SIMPLE task raises its SIMPLE success to 95%. On a real G1, it carries a box and walks to a goal without real training data.
• Abstract（参考訳）: ヒューマノイドロボットを制御するために視覚言語モデル(VLM)を導入するには、信頼性の高い全身インターフェースと、タスクをまたいだ身体の使い方に関する知識の両方が必要である。 HITCH(Harness Interfaces To Command Humanoids)は、VLMが画像中の任意の点の3D位置を認識することで、骨盤、胴体、手、歩行、および全身の動きを学習トラッカーで視認するハーネスである。 シーンの測定とコマンドの実行の両方が、タスクの成功を正確に引き起こすことに気付きました。 次に,教師がHITCHを通して5つの基本課題を解決し,ヒューマノイドの操作方法を学習する軌道上のVLMを微調整する。 タスク固有のトラジェクトリがなければ、微調整されたモデルは、simPLEの51%、HumanoidArenaの42.5%を完了し、SIMPLEタスク毎に5つのトラジェクトリを追加することで、simPLEの成功率は95%に上昇する。 実際のG1では、箱を運び、実際のトレーニングデータなしでゴールに進む。

関連論文リスト

• VioLA: Learning Generalist Humanoid Control Policies from Human Data [91.11609447813039]
  VioLAは人体と手の動きを予測するヒューマノイドのポリシーである。 タスク固有の微調整なしで、実際のロボットのゼロショットの移動指示に従う。
  論文  参考訳（メタデータ） (2026-10-08T17:57:27Z)
• OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video [22.269555840799196]
  OmniHOIは、手と物体の相互作用をRGBビデオに変換するパイプラインである。 6～22 DoFの5手それぞれに150回以上の移動軌跡を移動し,39～89%の成功を収めた。 60本のモノクロビデオクリップで53%の成功を達成しました。
  論文  参考訳（メタデータ） (2026-10-07T19:59:12Z)
• Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization [66.06331553787281]
  テキスト内ビデオガイダンスに従うことで、見知らぬタスクを実行する因果的ビデオアクションモデルであるZero-WAMを提案する。 我々はまた、8.6Kタスクにまたがる74.2Kの人間ロボットICLペアのデータセットであるHumanGenを提示する。 RoboTwin 2.0シミュレーションの7つの目に見えないタスクにおいて、Zero-WAMは47.0%の平均的な成功率を達成する。
  論文  参考訳（メタデータ） (2026-08-26T17:59:34Z)
• The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction [23.90153863744227]
  人間のビデオから学ぶための4段階のベンチマークであるThe Imitator Gameを紹介した。 人間の実演とロボット自身のシーンのギャップを徐々に広げ、軌道上のリプレイが止まる場所を分離する。 私たちはIG-10Kと、これまでで最大の環境整合型人間ロボットデータセット、そして盲目のA/B人間評価のためのオープンプラットフォームであるImitator Arenaと組み合わせました。
  論文  参考訳（メタデータ） (2026-08-23T08:51:01Z)
• Human-to-Robot Interaction: Learning from Video Demonstration for Robot Imitation [5.967530183571141]
  人間とロボットの模倣学習パイプラインは、ロボットが非構造化ビデオデモから直接操作スキルを取得することを可能にする。 鍵となる革新は、学習プロセスを2つの異なる段階に分離するモジュラーフレームワークである。 ロボット操作では,全ての動作の平均成功率は87.5%であり,タスク達成で100%,複雑なピック・アンド・プレイス操作で90%に達する。
  論文  参考訳（メタデータ） (2026-02-22T13:26:27Z)
• HumanoidVerse: A Versatile Humanoid for Vision-Language Guided Multi-Object Rearrangement [51.16740261131198]
  視覚言語誘導型ヒューマノイド制御のための新しいフレームワークであるHumanoidVerseを紹介する。 HumanoidVerseは、自然言語命令と自我中心のカメラRGB観測のみでガイドされる複数のオブジェクトの連続的な操作をサポートする。 我々の研究は、現実の知覚的制約の下で複雑なシーケンシャルなタスクを実行できる、堅牢で汎用的なヒューマノイドエージェントに向けた重要なステップである。
  論文  参考訳（メタデータ） (2025-08-23T08:23:14Z)
• Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models [49.4824734958566]
  カオス・オブ・モダリティ(CoM)は、ビジョン言語モデルがマルチモーダルな人間の実演データを推論することを可能にする。 CoMはタスクプランを洗練し、詳細な制御パラメータを生成し、ロボットは単一のマルチモーダルなヒューマンビデオプロンプトに基づいて操作タスクを実行できる。
  論文  参考訳（メタデータ） (2025-04-17T21:31:23Z)
• HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit [52.12750762494588]
  本稿では,半自律遠隔操作システムHOMIEを紹介する。 ペダルにマッピングされた身体制御のための強化学習ポリシー、腕制御のための異形外骨格アーム、手操作のためのモーションセンシンググローブを組み合わせている。 このシステムは完全なオープンソースであり、デモとコードはhttps://homietele.org/.com/で見ることができる。
  論文  参考訳（メタデータ） (2025-02-18T16:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。