論文の概要: Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body Teleoperation
- arxiv url: http://arxiv.org/abs/2608.02257v1
- Date: Mon, 03 Aug 2026 14:03:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.587892
- Title: Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body Teleoperation
- Title（参考訳）: 全体遠隔操作による移動操作のためのパノラマ対応VLA学習
- Abstract要約: モバイル操作は、視覚言語アクションポリシーに2つの重要な課題を提起する。
我々は全身遠隔操作システムとパノラマ対応VLAポリシーを開発した。
パノラマを意識したバイマンダル操作のための視覚-言語-アクションポリシーであるパノVLAを提案する。
- 参考スコア（独自算出の注目度）: 55.724481205135675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile manipulation is a key capability for embodied intelligence, enabling robots to accomplish complex multi-stage tasks in open-world environments. However, mobile manipulation poses two key challenges for vision-language-action (VLA) policies: At the data level, the efficient collection of high-quality whole-body demonstrations demands the coordinated control of both the mobile base and the robotic arms; at the model level, existing VLA models predominantly rely on local camera observations, whose limited field of view hinders global spatial understanding. To address these challenges, we develop a whole-body teleoperation system and a panoramic-aware VLA policy. The system enables coordinated control of a wheeled bimanual robot through a single VR interface and supports the acquisition of a real-world mobile manipulation dataset comprising 5.5 hours of multimodal demonstrations. Building upon this dataset, we propose PanoVLA, a panorama-aware vision-language-action policy for mobile bimanual manipulation. Built upon a Mixture-of-Transformers architecture, PanoVLA introduces global spatial context through dedicated panorama encoding and fusion modules, enabling effective integration of panoramic observations with language instructions and robot states for action generation. Evaluation on four real-world mobile manipulation tasks demonstrates that PanoVLA achieves an average stage completion rate of 91.3\% and an end-to-end success rate of 73.4\%, substantially outperforming local-view baselines. These results demonstrate that incorporating panoramic spatial context improves spatial understanding and closed-loop manipulation performance in mobile robots.
- Abstract（参考訳）: モバイル操作はインテリジェンスを具現化する上で重要な機能であり、ロボットはオープンワールド環境で複雑なマルチステージタスクを達成できる。
データレベルでは、高品質な全身デモの効率的な収集は、移動体ベースとロボットアームの両方の協調制御を要求する。
これらの課題に対処するため、我々は全身遠隔操作システムとパノラマ対応VLAポリシーを開発した。
このシステムは、単一のVRインターフェースを介して車輪付きバイマニュアルロボットの協調制御を可能にし、マルチモーダルデモの5.5時間からなる実世界のモバイル操作データセットの取得をサポートする。
このデータセットに基づいて,パノラマを意識した視覚言語行動ポリシーであるパノVLAを提案する。
パノVLAは、Mixture-of-Transformersアーキテクチャに基づいて、パノラマ符号化と融合モジュールによるグローバル空間コンテキストを導入し、言語命令とパノラマ観測を効果的に統合し、アクション生成のためのロボット状態を生成する。
4つの実世界のモバイル操作タスクの評価は、パノVLAが平均的なステージ完了率91.3\%、エンドツーエンドの成功率73.4\%を達成し、局部ビューのベースラインを大幅に上回っていることを示している。
これらの結果は,パノラマ空間コンテキストを取り入れることで,移動ロボットの空間理解と閉ループ操作性能が向上することを示す。
関連論文リスト
- GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations [19.347332945780273]
VLA(Vision-Language-Action)モデルは、知覚と行動の統一による汎用ロボット操作の強力な可能性を示している。
ジェスチャーを並列命令として導入し,GesVLA(Gesture-Aware Vision-Language-Action Model)を提案する。
実験結果から,ジェスチャを組み込むことにより,目標の接地精度と人間とロボットの相互作用効率が一貫した改善が得られた。
論文 参考訳（メタデータ） (2026-05-21T17:57:44Z) - SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile Manipulation [43.77409401429281]
VLA(Vision-Language-Action)モデルは、ロボット制御の可能性を秘めているが、複雑な家庭環境におけるパフォーマンスは、まだ準最適である。
モバイル操作には、グローバルなシーンレイアウト、きめ細かい形状、高次元連続的な動作の推論が必要である。
知覚と表現を強化する空間的接地型VLAモデルの学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-24T03:44:25Z) - RoboInter: A Holistic Intermediate Representation Suite Towards Robotic Manipulation [104.68774434699158]
RoboInter Manipulation Suiteはデータ、ベンチマーク、中間表現のモデルを含む統一されたリソースである。
多様な表現の半自動アノテーションを可能にする軽量GUIであるRoboInter-Toolと、571の多様なシーンにわたる230万回以上のエピソードを含む大規模なデータセットであるRoboInter-Dataで構成されている。
RoboInter-VLAは、モジュールとエンドツーエンドのVLAバリアントをサポートする、統合されたプラン-then-executeフレームワークを提供する。
論文 参考訳（メタデータ） (2026-02-10T17:01:54Z) - MobileManiBench: Simplifying Model Verification for Mobile Manipulation [70.30578259859512]
MobileManiBenchは、モバイルベースのロボット操作のための大規模なベンチマークである。
MobileManiBenchには、2つのモバイルプラットフォーム(パラレルグリッパーとデキソラスハンドロボット)、2つの同期カメラ(頭と右手首)、630のオブジェクト(オープン、クローズ、プル、プッシュ、ピック)、5つのスキル(オープン、クローズ、プッシュ、ピック)、100以上のタスクが現実的なシーンで実行される。
論文 参考訳（メタデータ） (2026-02-05T02:49:52Z) - HiMoE-VLA: Hierarchical Mixture-of-Experts for Generalist Vision-Language-Action Policies [83.41714103649751]
具体的インテリジェンスモデルの開発は、高品質なロボットのデモデータへのアクセスに依存する。
異種多種多様なロボットデータを扱うための視覚言語アクションフレームワークであるHiMoE-VLAを提案する。
HiMoE-VLAは既存のVLAベースラインよりも一貫したパフォーマンス向上を示し、高い精度と堅牢な一般化を実現している。
論文 参考訳（メタデータ） (2025-12-05T13:21:05Z) - End-to-End Dexterous Arm-Hand VLA Policies via Shared Autonomy: VR Teleoperation Augmented by Autonomous Hand VLA Policy for Efficient Data Collection [10.217810309422232]
マクロモーションとマイクロモーションの制御を分割するフレームワークを提案する。
人間のオペレーターが直感的なVR遠隔操作を通してロボットの腕のポーズをガイドします。
自律的なDexGrasp-VLAポリシは、リアルタイム触覚と視覚フィードバックを使用して、きめ細かい手制御を処理する。
論文 参考訳（メタデータ） (2025-10-31T16:12:02Z) - M4Diffuser: Multi-View Diffusion Policy with Manipulability-Aware Control for Robust Mobile Manipulation [17.9979990426915]
M4Diffuserは、マルチビュー拡散ポリシーとモバイル操作のための新しいReduceed and Manipulability-aware QPコントローラを統合するハイブリッドフレームワークである。
提案手法は,スムーズな全身協調のための堅牢な性能と,目に見えないタスクへの強力な一般化を示す。
論文 参考訳（メタデータ） (2025-09-18T14:09:53Z) - OWMM-Agent: Open World Mobile Manipulation With Multi-modal Agentic Data Synthesis [70.39500621448383]
オープンワールドのモバイル操作タスクは、オープンエンドの命令や環境への一般化が必要なため、依然として課題である。
本稿では,多視点のシーンフレームとエージェント状態を維持した新しいマルチモーダルエージェントアーキテクチャを提案する。
我々は,グローバルなシーン理解,ロボットの状態追跡,マルチモーダルアクション生成を統一モデルで実現した,モバイルマニピュレータのための基礎モデルであるOWMM-VLMについて紹介する。
論文 参考訳（メタデータ） (2025-06-04T17:57:44Z) - LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
我々はLLaRA: Large Language and Robotics Assistantを紹介した。
まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。
このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
論文 参考訳（メタデータ） (2024-06-28T17:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。