論文の概要: HumanoidVLN: A Physics-Grounded Simulator and Benchmark for Vision-Language Navigation Across Diverse Humanoid Embodiments
- arxiv url: http://arxiv.org/abs/2608.12860v1
- Date: Thu, 13 Aug 2026 06:16:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.410714
- Title: HumanoidVLN: A Physics-Grounded Simulator and Benchmark for Vision-Language Navigation Across Diverse Humanoid Embodiments
- Title（参考訳）: HumanoidVLN: 物理グラウンドシミュレータと多目的人体間の視線ナビゲーションベンチマーク
- Abstract要約: ヒューマノイドロボットのためのビジョンランゲージナビゲーション(VLN)は、既存のベンチマークに対処できない課題を提起する。
本稿では,様々なヒューマノイドエボディメントにまたがるVLNのシミュレーションおよびベンチマークであるHumanoidVLNを紹介する。
新しいロボットとVLNモデルは最小限の労力で統合され、NaVILA、DualVLN、StreamVLN、JanusVLNと互換性を示す。
- 参考スコア（独自算出の注目度）: 8.68906803663864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language Navigation (VLN) for humanoid robots poses challenges existing benchmarks fail to address: bipedal locomotion imposes physical constraints absent from wheeled agents, humanoid morphologies vary across platforms, and egocentric observations are distorted by locomotion-induced camera dynamics. We present HumanoidVLN, a physics-grounded simulator and benchmark for VLN across diverse humanoid embodiments. Built on NVIDIA Isaac Sim, our platform supports an extensible set of humanoid configurations, demonstrated on four robots (Unitree G1, Unitree H1, Internal-A, Internal-B) spanning 10-12 lower-body DoF and heights from 1.17m to 1.80m, via a hierarchical control stack combining a reinforcement learning locomotion policy with interchangeable PD or MPC path trackers. New robots and VLN models integrate with minimal effort; we demonstrate compatibility with NaVILA, DualVLN, StreamVLN, and JanusVLN. Environments are drawn from artist-designed scenes and 3D Gaussian Splatting reconstructions, filtered for navigable areas exceeding 100 square meters. Instructions are generated by a dual generator-reviewer plus paraphraser multi-agent pipeline with human-in-the-loop verification, yielding 933 collision-aware reference episodes, each paired with one fine-grained instruction and three coarse-grained stylistic variants (formal, natural, casual). Across four models and four embodiments, JanusVLN achieves the highest mean success rate of 43.55% and nDTW of 48.38. In a 20-episode sim-to-real pilot with DualVLN and the Unitree G1, navigation errors correlate strongly (r=0.935), with a mean absolute difference of 0.68m and mean trajectory similarity of 0.782 (+/-0.188) nDTW. These results highlight the interaction between VLN models, controllers, and humanoid embodiments under physical execution. Code, benchmark, and data will be released upon acceptance at https://humanoid-vln.github.io/.
- Abstract（参考訳）: 二足歩行は、車輪付きエージェントから欠如する物理的制約を課し、ヒューマノイドの形態はプラットフォームによって異なり、自我中心の観察は、移動によって引き起こされるカメラダイナミクスによって歪む。
本稿では,様々なヒューマノイドエボディメントにまたがるVLNのシミュレーションおよびベンチマークであるHumanoidVLNを紹介する。
NVIDIA Isaac Sim上に構築された当社のプラットフォームは、拡張可能なヒューマノイド構成をサポートし、10～12体のDoFと高さ1.17mから1.80mにまたがる4つのロボット(Unitree G1, Unitree H1, internal-A, internal-B)で、強化学習ロコモーションポリシーと交換可能なPDまたはMPCパストラッカーを組み合わせた階層的なコントロールスタックを介して、デモを行った。
新しいロボットとVLNモデルは最小限の労力で統合され、NaVILA、DualVLN、StreamVLN、JanusVLNと互換性を示す。
環境は、芸術家がデザインしたシーンと、100平方メートルを超える航法可能な場所のために濾過された3Dガウシアン・スプレイティング(英語版)から引き出される。
インストラクションは2つのジェネレータとパラフラッサーによるマルチエージェントパイプラインで生成され、人間のループ検証により933回の衝突を意識した参照エピソードが生成され、それぞれに1つのきめ細かい命令と3つの粗いきめ細かなスタイリスティックなバリエーション(形式、自然、カジュアル)が組み合わされる。
4つのモデルと4つの実施形態で、JanusVLNは48.38の43.55%とnDTWの最高平均成功率を達成した。
DualVLNとUnitree G1を使用した20周のシミュレート・トゥ・リアルパイロットでは、ナビゲーションエラーは(r=0.935)強く相関しており、平均絶対差は0.68m、平均軌道類似度は0.782 (+/-0.188) nDTWである。
これらの結果は、物理的実行下でのVLNモデル、コントローラ、ヒューマノイドエンボディメント間の相互作用を強調している。
コード、ベンチマーク、データはhttps://humanoid-vln.github.io/で公開される。
関連論文リスト
- BRIDGE: An Open-Source Humanoid Platform via Morphology-Control Co-Design for Physical AI [38.7271333345027]
Bridgeはオープンソースの88cmのヒューマノイドプラットフォームで、コントロールポリシーとともにリリースされている。
我々は,ブリッジが人間の運動データをより優れた忠実度で捉え,ロコモーション,ロバストバランス,高度にダイナミックな操作に優れた性能を示すことを示した。
論文 参考訳（メタデータ） (2026-09-03T08:01:19Z) - VLK: Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes [71.14444761145435]
知覚に基づくヒューマノイド・ロコ・マニピュレーションは、自我中心の観察とタスク・インストラクションを全身の動きに結びつける必要がある。
既存のデータソースがこれを完全に提供するものはありません。
このボトルネックに対処するために、再構成シーンで視覚・言語・運動学を総合的に指導する手法を提案する。
論文 参考訳（メタデータ） (2026-06-29T17:59:55Z) - Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。
統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
論文 参考訳（メタデータ） (2026-05-26T18:52:04Z) - Action Agent: Agentic Video Generation Meets Flow-Constrained Diffusion [2.2935396753701065]
Action Agentは、ロボットナビゲーションのためのフロー制約付き拡散制御を備えたエージェントナビゲーションビデオ生成を統一するフレームワークである。
ステージIでは、大規模な言語モデル(LLM)が、ビデオ拡散モデルを選択し、反復的検証を通じてプロンプトを洗練し、クロスタスクメモリを蓄積するオーケストレーションモジュールとして機能する。
ステージIIでは、最適化されたゴールビデオと言語命令を連続的な速度コマンドに変換するFlow-Constrained Diffusion TransformerであるFlowDiTを導入する。
論文 参考訳（メタデータ） (2026-05-02T14:52:03Z) - MiniVLA-Nav v1: A Multi-Scene Simulation Dataset for Language-Conditioned Robot Navigation [0.0]
MiniVLA-Nav v1はLanguage-Conditioned Object Approachナビゲーションのためのシミュレーションデータセットである。
1,174エピソードはそれぞれ、640x640 RGBの同期画像、メートル法深度マップ、インスタンスセグメンテーションマスクとインストラクションをペアリングする。
データセットはhttps://huggingface.co/datasets/alibustami/miniVLA-Navで公開されている。
論文 参考訳（メタデータ） (2026-05-01T04:36:54Z) - Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization [38.20385682344082]
本稿では,多様なロボットプラットフォームにまたがる堅牢なクロスエボディメント一般化を目的とした,基礎的なビジョン・ランゲージ・アクションモデルであるBeing-H0.5を紹介する。
今回紹介するUniHand-2.0は、これまでで最大で、3万5000時間以上のマルチモーダルデータを、30の異なるロボットエボディメントに展開する。
Be-H0.5 は LIBERO (98.9%) や RoboCasa (53.9%) のようなシミュレートされたベンチマークで最先端の結果を得る
論文 参考訳（メタデータ） (2026-01-19T12:20:38Z) - InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation [77.07565723756119]
InternVLA-A1は動的予測機能を備えた視覚言語モデルである。
我々は、実世界のロボットデータ、合成シミュレーションデータ、人間のビデオなどを用いて、これらのモデルを異種データソース上で事前訓練する。
InternVLA-A1を実世界の12のロボットタスクとシミュレーションベンチマークで評価した。
論文 参考訳（メタデータ） (2026-01-05T18:54:29Z) - SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control [85.91101551600978]
モデルキャパシティ,データ,計算のスケールアップにより,自然かつ堅牢な体の動きを生成できる汎用的なヒューマノイドコントローラが得られることを示す。
我々は、ネットワークサイズ、データセットボリューム、計算の3つの軸に沿ってスケーリングすることで、モーショントラッキングのための基礎モデルを構築します。
本研究では,(1)動作追跡を下流タスク実行にブリッジし,自然かつインタラクティブな制御を可能にするリアルタイムユニバーサルキネマティックプランナ,(2)様々な動作入力インタフェースをサポートする統一トークン空間の2つのメカニズムにより,モデルの実用性を示す。
論文 参考訳（メタデータ） (2025-11-11T04:37:40Z) - TrajBooster: Boosting Humanoid Whole-Body Manipulation via Trajectory-Centric Learning [79.59753528758361]
両足のVLAを促進するために、豊富な車輪付きヒューマノイドデータを活用するクロス・エボディメント・フレームワークであるTrajBoosterを提案する。
私たちのキーとなる考え方は、形態素に依存しないインターフェースとして、エンドエフェクタ・トラジェクトリを使用することです。
以上の結果から,TrajBoosterは既存の車輪付きヒューマノイドデータにより,二足歩行ヒューマノイドVLAの性能を効率的に向上させることができることがわかった。
論文 参考訳（メタデータ） (2025-09-15T12:25:39Z) - Rethinking the Embodied Gap in Vision-and-Language Navigation: A Holistic Study of Physical and Visual Disparities [56.68006021126077]
VLN-PEは、人間型、四足型、車輪型ロボットをサポートする物理的に現実的なVLNプラットフォームである。
われわれは,エゴ中心のVLN手法を,様々な技術パイプラインにまたがる物理ロボット設定において初めて評価した。
以上の結果から,ロボット観測空間の制限,環境光の変動,衝突や落下などの物理的課題による性能劣化が明らかとなった。
論文 参考訳（メタデータ） (2025-07-17T11:46:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。