論文の概要: Learning Humanoid Navigation from Human Data
- arxiv url: http://arxiv.org/abs/2604.00416v1
- Date: Wed, 01 Apr 2026 02:59:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.808686
- Title: Learning Humanoid Navigation from Human Data
- Title(参考訳): 人間のデータからヒューマノイドナビゲーションを学習する
- Abstract要約: EgoNavは、人間型ロボットが5時間の歩行データから完全に学習することで、多様な、見えない環境を横断することを可能にするシステムである。
拡散モデルは、過去の軌跡に条件付けられた可塑性将来の軌跡の分布、色、深さ、意味を融合した360度視覚記憶、凍結したDINOv3バックボーンからの映像特徴の分布を予測する。
データセットとトレーニングされたモデルをリリースします。
- 参考スコア(独自算出の注目度): 20.068761469097193
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present EgoNav, a system that enables a humanoid robot to traverse diverse, unseen environments by learning entirely from 5 hours of human walking data, with no robot data or finetuning. A diffusion model predicts distributions of plausible future trajectories conditioned on past trajectory, a 360 deg visual memory fusing color, depth, and semantics, and video features from a frozen DINOv3 backbone that capture appearance cues invisible to depth sensors. A hybrid sampling scheme achieves real-time inference in 10 denoising steps, and a receding-horizon controller selects paths from the predicted distribution. We validate EgoNav through offline evaluations, where it outperforms baselines in collision avoidance and multi-modal coverage, and through zero-shot deployment on a Unitree G1 humanoid across unseen indoor and outdoor environments. Behaviors such as waiting for doors to open, navigating around crowds, and avoiding glass walls emerge naturally from the learned prior. We will release the dataset and trained models. Our website: https://egonav.weizhuowang.com
- Abstract(参考訳): EgoNavは、ロボットのデータや微調整を使わずに、5時間の歩行データから完全に学習することで、人間型ロボットが多様な、見えない環境を横断することを可能にするシステムである。
拡散モデルは、過去の軌跡に条件付けられた可視的将来の軌跡の分布、色、深さ、意味を融合した360度視覚記憶、そして、深度センサーに見えない外観の手がかりを捉えた、凍ったDINOv3バックボーンからの映像特徴を予測する。
ハイブリッドサンプリング方式は10ステップでリアルタイムな推論を行い、遅延水平制御器は予測された分布から経路を選択する。
EgoNavをオフラインで評価し、衝突回避とマルチモーダルカバレッジにおいてベースラインよりも優れており、また、Unitree G1ヒューマノイド上でのゼロショット展開により、屋内および屋外の環境下でのエゴナブの評価を行う。
ドアが開くのを待つ、群衆のまわりをナビゲートする、ガラスの壁を避けるといった行動は、学習した先行者から自然に現れる。
データセットとトレーニングされたモデルをリリースします。
ウェブサイト:https://egonav.weizhuowang.com
関連論文リスト
- LookOut: Real-World Humanoid Egocentric Navigation [61.14016011125957]
本稿では,エゴセントリックな映像から将来の6Dヘッドポーズの列を予測するという課題を紹介する。
この課題を解決するために,時間的に集約された3次元潜伏特徴を考慮に入れた枠組みを提案する。
この分野のトレーニングデータが不足していることから,このアプローチを通じて収集されたデータセットを提示する。
論文 参考訳(メタデータ) (2025-08-20T06:43:36Z) - Social-Pose: Enhancing Trajectory Prediction with Human Body Pose [70.59399670794171]
本研究では,人体ポーズを用いた人体軌道予測の利点について検討した。
我々は,シーン内のすべての人間のポーズとその社会的関係を効果的にキャプチャするアテンションベースのポーズエンコーダであるSocial-poseを提案する。
論文 参考訳(メタデータ) (2025-07-30T14:58:48Z) - EgoNav: Egocentric Scene-aware Human Trajectory Prediction [15.346096596482857]
ウェアラブルなコラボレーティブロボットは、転倒防止支援を必要とする人や、外骨格を装着する人を助ける。
このようなロボットは、自我中心の視覚に基づいて周囲のシーンに常に適応し、着用者の自我の動きを予測する必要がある。
本研究では、身体に装着したカメラとセンサーを利用して、複雑な環境下での人間の着用者の軌道を予測した。
論文 参考訳(メタデータ) (2024-03-27T21:43:12Z) - Humanoid Locomotion as Next Token Prediction [84.21335675130021]
我々のモデルは感覚運動軌道の自己回帰予測によって訓練された因果変換器である。
われわれのモデルでは、フルサイズのヒューマノイドがサンフランシスコでゼロショットで歩けることが示されている。
われわれのモデルは、わずか27時間の歩行データで訓練された場合でも現実世界に移行でき、後方歩行のような訓練中に見えないコマンドを一般化することができる。
論文 参考訳(メタデータ) (2024-02-29T18:57:37Z) - Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。
提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
論文 参考訳(メタデータ) (2023-12-26T18:56:49Z) - Adaptive Human Trajectory Prediction via Latent Corridors [49.13061580045407]
シーン固有の適応軌道予測の問題を定式化する。
本稿では,潜伏回廊と呼ばれる即時チューニングにインスパイアされた新しい適応手法を提案する。
0.1%の追加モデルパラメータでは、MOTシンスシミュレーションデータの改善が23.9%、MOTおよびワイルドトラックにおけるADEが16.4%となる。
論文 参考訳(メタデータ) (2023-12-11T18:59:12Z) - Robots That Can See: Leveraging Human Pose for Trajectory Prediction [30.919756497223343]
本研究では,人間中心環境における未来の軌道を予測するためのトランスフォーマーアーキテクチャを提案する。
結果として得られたモデルは、将来の人間の軌道予測に固有の不確実性を捉えている。
我々は,限られた履歴データを持つ新しいエージェントを誤りの主な要因として同定し,予測誤差を低減するために3次元骨格ポーズの相補的な性質を実証する。
論文 参考訳(メタデータ) (2023-09-29T13:02:56Z) - COPILOT: Human-Environment Collision Prediction and Localization from
Egocentric Videos [62.34712951567793]
エゴセントリックな観測から人間と環境の衝突を予測する能力は、VR、AR、ウェアラブルアシストロボットなどのアプリケーションにおける衝突回避を可能にするために不可欠である。
本稿では、ボディマウントカメラから撮影した多視点エゴセントリックビデオから、多様な環境における衝突を予測するという課題を紹介する。
衝突予測と局所化を同時に行うために,COPILOTと呼ばれるトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2022-10-04T17:49:23Z) - Egocentric Human Trajectory Forecasting with a Wearable Camera and
Multi-Modal Fusion [24.149925005674145]
混雑した空間における自我中心型カメラ装着者(自我者)の軌道予測の問題に対処する。
異なるカメラ装着者のデータから得られた軌道予測能力は、視覚障害者のナビゲーションを支援するために転送することができる。
トランスフォーマーをベースとしたエンコーダ・デコーダニューラルネットワークモデルが,カメラ装着者の将来の軌道を予測するために,新しいカスケード型クロスアテンション機構と統合されている。
論文 参考訳(メタデータ) (2021-11-01T14:58:05Z) - Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。
私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。
学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
論文 参考訳(メタデータ) (2020-03-20T16:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。