論文の概要: DR-VLA: Learning Human-Like Quadruped Navigation from Egocentric Web Videos via Domain-Invariant Scene Representations

• arxiv url: http://arxiv.org/abs/2610.18373v1
• Date: Tue, 13 Oct 2026 13:28:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:16:15.963794
• Title: DR-VLA: Learning Human-Like Quadruped Navigation from Egocentric Web Videos via Domain-Invariant Scene Representations
• Title（参考訳）: DR-VLA:ドメイン不変シーン表現によるエゴセントリックWebビデオからの擬似四足歩行学習
• Abstract要約: DR-VLAはMixture-of-Transformersフレームワークで、ドメイン不変のシーン表現を通じて人間のナビゲーション体験を転送する。 我々はEgoLynxを紹介する。EgoLynx-Web(EgoLynx-Web)の1万時間、実世界の配送中に収集された遠隔操作型ロボットナビゲーション(EgoLynx-Robot)の2000クリップからなる。 我々は、アクションラベルなしでEgoLynx-Webの理解と世界の専門家を事前訓練し、ロボット観察にモデルを適応させ、EgoLynx-Robotのアクションエキスパートを訓練して実行可能な軌道の予測を行う。
• 参考スコア（独自算出の注目度）: 7.590234941197099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quadruped robots performing outdoor deliveries must interpret complex scenes, anticipate changes, and navigate in socially compliant ways. Robot demonstrations are costly to collect at the scale needed for generalization. Egocentric web videos offer abundant human navigation experience, but differences in viewpoint and motion make this experience difficult to transfer to robots. We introduce DR-VLA, a Mixture-of-Transformers framework that transfers human navigation experience through a domain-invariant scene representation (DISR). The framework combines vision-language understanding and latent world modeling with a flow-matching action expert. We introduce EgoLynx, comprising 10,000 hours of curated egocentric web video (EgoLynx-Web) and 2,000 clips of teleoperated robot navigation collected during real-world deliveries (EgoLynx-Robot). We pretrain the understanding and world experts on EgoLynx-Web without action labels, then adapt the model to robot observations and train the action expert on EgoLynx-Robot to predict executable trajectories. We also propose the Quadruped Navigation Score (QNS), a pseudo-closed-loop metric combining safety, instruction compliance, comfort, and progress. On the held-out EgoLynx-Robot test split, DR-VLA improves QNS by approximately 5% and reduces open-loop final heading error (FHE) by 14.6%, each relative to the best competing result for that metric. Ablations show that web-video pretraining improves generalization and that the model's key components contribute to performance. As a future-prediction target, DISR outperforms five generic visual representations and yields performance close to task-specific 3D perception without dedicated geometric labels or point clouds for target construction. Trained separately on NAVSIM v1 without web pretraining, DR-VLA achieves 92.1 PDMS, suggesting that the framework also applies to autonomous driving.
• Abstract（参考訳）: 屋外配達を行う四足歩行ロボットは、複雑なシーンを解釈し、変化を予測し、社会的に適合した方法でナビゲートしなければならない。 ロボットのデモは、一般化に必要な規模で収集するのに費用がかかる。 エゴセントリックなWebビデオは、豊富な人間のナビゲーション体験を提供するが、視点や動きの違いにより、ロボットへの移動が困難になる。 DR-VLA(Mixture-of-Transformers framework)は、ドメイン不変シーン表現(DISR)を介して、人間のナビゲーション体験を伝達するフレームワークである。 このフレームワークは、視覚言語理解と潜在世界モデリングとフローマッチングアクションエキスパートを組み合わせる。 我々はEgoLynxを紹介する。EgoLynx-Web(EgoLynx-Web)の1万時間、実世界の配送中に収集された遠隔操作型ロボットナビゲーション(EgoLynx-Robot)の2000クリップを含む。 我々は、アクションラベルなしでEgoLynx-Webの理解と世界の専門家を事前訓練し、ロボットの観察にモデルを適応させ、EgoLynx-Robotのアクションエキスパートを訓練して実行可能な軌道の予測を行う。 また、安全性、命令コンプライアンス、快適さ、進捗性を組み合わせた擬似閉ループ計量であるQuadruped Navigation Score (QNS)を提案する。 保持されたEgoLynx-Robotテストスプリットでは、DR-VLAはQNSを約5%改善し、オープンループの最終方向誤差(FHE)を14.6%削減した。 アブレーションは、Webビデオ事前トレーニングが一般化を改善し、モデルのキーコンポーネントがパフォーマンスに寄与することを示している。 将来の予測対象として、DICRは5つの一般的な視覚表現を上回り、専用の幾何学的ラベルや目標構築のための点雲を使わずに、タスク固有の3D知覚に近い性能を得る。 Web事前トレーニングなしでNAVSIM v1で個別にトレーニングされたDR-VLAは92.1PDMSを達成した。

関連論文リスト

• Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
  我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。 我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。 Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
  論文  参考訳（メタデータ） (2026-10-08T05:49:24Z)
• JoyAI-RA 0.5: Scaling Robot Manipulation Learning via Dual Action Alignment [0.0]
  本研究では,物理世界力学と視覚的意味論を結びつけるフレームワークであるJoyAI-RA 0.5を提案する。 インシシットアクションアライメントは、視覚的な遷移から潜在アクションを推論し、アクションフリーな人間、シミュレーション、ロボットデータを可能にする。 JoyAI-RAは、実際のAgiBotベンチマークで見られるタスクと見えないバリエーションの両方に強く依存する。
  論文  参考訳（メタデータ） (2026-08-06T07:14:55Z)
• Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
  Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。 Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-03T17:52:26Z)
• EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning [10.780924973366737]
  EgoInfinityは、ロボットの獲得と学習のためのWebスケールデータ生成を可能にする、汎用的な4Dハンドオブジェクトインタラクションデータエンジンである。 EgoInfinity(エゴインフィニティ)は、知覚、セグメンテーション、再構築、相互認識の洗練、そして従来の計算不可能なビデオ対アクション問題を自動化するための、モジュール式エンジンである。
  論文  参考訳（メタデータ） (2026-06-16T00:44:16Z)
• Contrastive Action-Image Pre-training for Visuomotor Control [91.5630572541332]
  エンドエフェクタアクションのプロキシとして,大規模なエゴセントリックビデオからの人間の手ポーズを取り扱う視覚エンコーダであるCAIPを紹介する。 人間のビデオは32,041時間、ロボット操作のデータは88時間しかなく、CAIPは最先端の視覚エンコーダより優れています。
  論文  参考訳（メタデータ） (2026-06-15T20:00:20Z)
• DreamToNav: Generalizable Navigation for Robots via Generative Video Planning [1.964570633684439]
  私たちはDreamToNavを紹介します。DreamToNavは、生成ビデオモデルを使用して、直感的で人力によるループ制御を可能にする、新しい自律型ロボットフレームワークです。 室内ナビゲーション作業において,車輪付き移動ロボットと四足歩行ロボットの両方に対するアプローチを評価する。 DreamToNavは76.7%の成功率で、最終目標誤差は0.05-0.10m以内、軌道追跡誤差は0.15m以下である。
  論文  参考訳（メタデータ） (2026-03-06T11:57:10Z)
• MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
  低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。 視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。 視点安定化のためにEgoStabilizerを提案する。 動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
  論文  参考訳（メタデータ） (2025-09-26T11:05:10Z)
• EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos [49.820119587446655]
  本稿では,エゴセントリックな人間ビデオを用いたVLA(Vision-Language-Action)モデルのトレーニングについて検討する。 人間の手首と手の動きを予測する人間のビデオに基づいて訓練されたVLAによって、私たちはInverse Kinematicsを実行し、人間のアクションをロボットアクションに変換することができる。 シミュレーションベンチマークであるEgo Humanoid Manipulation Benchmarkを提案する。
  論文  参考訳（メタデータ） (2025-07-16T17:27:44Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。