論文の概要: Panoramic Multimodal Semantic Occupancy Prediction for Quadruped Robots
- arxiv url: http://arxiv.org/abs/2603.13108v1
- Date: Fri, 13 Mar 2026 16:04:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:12.171751
- Title: Panoramic Multimodal Semantic Occupancy Prediction for Quadruped Robots
- Title（参考訳）: 四足歩行ロボットのパノラママルチモーダルセマンティック動作予測
- Abstract要約: 四足歩行ロボットのためのパノラマ型マルチモーダル占有データセットであるPanoMMOccを提案する。
本稿では,足の移動と球面イメージングに適したパノラママルチモーダル占有感フレームワークであるVoxelHoundを提案する。
- 参考スコア（独自算出の注目度）: 17.56777936131055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Panoramic imagery provides holistic 360° visual coverage for perception in quadruped robots. However, existing occupancy prediction methods are mainly designed for wheeled autonomous driving and rely heavily on RGB cues, limiting their robustness in complex environments. To bridge this gap, (1) we present PanoMMOcc, the first real-world panoramic multimodal occupancy dataset for quadruped robots, featuring four sensing modalities across diverse scenes. (2) We propose a panoramic multimodal occupancy perception framework, VoxelHound, tailored for legged mobility and spherical imaging. Specifically, we design (i) a Vertical Jitter Compensation (VJC) module to mitigate severe viewpoint perturbations caused by body pitch and roll during mobility, enabling more consistent spatial reasoning, and (ii) an effective Multimodal Information Prompt Fusion (MIPF) module that jointly leverages panoramic visual cues and auxiliary modalities to enhance volumetric occupancy prediction. (3) We establish a benchmark based on PanoMMOcc and provide detailed data analysis to enable systematic evaluation of perception methods under challenging embodied scenarios. Extensive experiments demonstrate that VoxelHound achieves state-of-the-art performance on PanoMMOcc (+4.16%} in mIoU). The dataset and code will be publicly released to facilitate future research on panoramic multimodal 3D perception for embodied robotic systems at https://github.com/SXDR/PanoMMOcc, along with the calibration tools released at https://github.com/losehu/CameraLiDAR-Calib.
- Abstract（参考訳）: パノラマ画像は四足歩行ロボットの知覚に全体視的360度映像を提供する。
しかし、既存の占有率予測手法は主に車輪付き自動運転用に設計されており、複雑な環境下での頑丈さを抑えるためにRGBキューに大きく依存している。
このギャップを埋めるために, (1) パノMMOccは, 四足歩行ロボットのための仮想パノラママルチモーダル占有データセットであり, 多様なシーンにまたがる4つの知覚モーダルを特徴とする。
2) 足の移動と球面撮影に適したパノラマ多モード占有知覚フレームワークであるVoxelHoundを提案する。
特に デザインは
一 身体ピッチ及び移動時の転動による重度の視点摂動を緩和し、より一貫した空間推論を可能にする垂直ジッタ補償モジュール
(II) パノラマ的視覚的手がかりと補助的モダリティを併用し,容積占有予測を向上する有効マルチモーダル情報プロンプトフュージョン(MIPF)モジュール。
3)PanoMMOccをベースとしたベンチマークを構築し,難解な実施シナリオ下での知覚手法の体系的評価を実現するための詳細なデータ解析を行う。
大規模な実験により、VoxelHoundはPanoMMOcc (+4.16%} in mIoU)上で最先端のパフォーマンスを達成した。
データセットとコードは、将来のパノラマ型マルチモーダル3D知覚の研究を促進するために、https://github.com/SXDR/PanoMMOccで、https://github.com/losehu/CameraLiDAR-Calibでリリースされたキャリブレーションツールとともに、公開される。
関連論文リスト
- PanoWorld: Real-World Panoramic Generation [68.3569360188378]
パノワールド(PanoWorld)は、現在の動作モデリングと長距離メモリの両方において、固定方向によるカメラ軌跡の変換を単純化する。
ワールド360の大規模な実験は、パノワールドの有効性を示し、大きなマージンで代替手法を上回った。
論文 参考訳（メタデータ） (2026-07-10T17:59:32Z) - MultiView-Bench: A Diagnostic Benchmark for World-Centric Multi-View Integration in VLMs [40.317798580235]
VLMの最近のベンチマークは、単一の視点または限られた視点の知覚を主に評価し、視点をまたいだ観察を一貫性のある世界中心の(偏心的な)3Dメンタルモデルに統合するコア認知能力を未検証のまま残している。
我々は,総合的な3Dシーン理解のためのマルチビュー統合を評価するための診断ベンチマークであるMultiView-Benchを紹介する。
情報的視点を積極的に選択し、知覚し、多視点エビデンスを融合するマルチエージェントフレームワークであるViewNavigatorを提案する。
論文 参考訳（メタデータ） (2026-07-09T22:22:42Z) - Semantic Occupancy Prediction with Dual Range-Voxel Representation [44.662942799652534]
LiDARに基づくセマンティック占有予測は、自動運転システムにとって不可欠である。
既存の方法は、密集した空間情報を得るために、しばしばマルチスウィープな点雲を積み重ねる。
本研究では, 単一スイート点雲の領域ビューコンテキストとボクセルビュー幾何を利用するDual Range-Voxel Representation (DRVR)を提案する。
論文 参考訳（メタデータ） (2026-06-30T14:01:52Z) - PanoWorld-X: Generating Explorable Panoramic Worlds via Sphere-Aware Video Diffusion [87.13016347332943]
PanoWorld-Xは、多彩なカメラ軌道を持つ高忠実で制御可能なパノラマビデオ生成のための新しいフレームワークである。
動作範囲,制御精度,視覚的品質など,様々な面で優れた性能を示す実験を行った。
論文 参考訳（メタデータ） (2025-09-29T16:22:00Z) - QuaDreamer: Controllable Panoramic Video Generation for Quadruped Robots [35.458219603280995]
QuaDreamerは四足歩行ロボット用に設計された最初のパノラマデータ生成エンジンである。
ジッタ信号制御下での高品質パノラマ映像生成を容易にするために,SOC(Scene-Object Controller)を提案する。
生成されたビデオシーケンスは、四足歩行ロボットのパノラマ視覚知覚モデルのトレーニングデータとして機能する。
論文 参考訳（メタデータ） (2025-08-04T15:18:01Z) - Doracamom: Joint 3D Detection and Occupancy Prediction with Multi-view 4D Radars and Cameras for Omnidirectional Perception [9.76463525667238]
マルチビューカメラと4Dレーダを融合した最初のフレームワークであるDoracamomを提案する。
コードとモデルは公開されます。
論文 参考訳（メタデータ） (2025-01-26T04:24:07Z) - LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [88.85002707211777]
LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。
我々のフレームワークはVFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出する。
このアライメントは、クロスモーダルな表現学習を促進し、2Dデータと3Dデータのセマンティック一貫性を高める。
論文 参考訳（メタデータ） (2025-01-07T18:59:59Z) - DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。
DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:57:02Z) - BEVWorld: A Multimodal World Simulator for Autonomous Driving via Scene-Level BEV Latents [56.33989853438012]
BEVWorldは,マルチモーダルセンサ入力を統一的でコンパクトなBird's Eye View潜在空間に変換し,全体的環境モデリングを行うフレームワークである。
提案する世界モデルは,多モードトークン化器と遅延BEVシーケンス拡散モデルという2つの主要成分から構成される。
論文 参考訳（メタデータ） (2024-07-08T07:26:08Z) - UniM$^2$AE: Multi-modal Masked Autoencoders with Unified 3D Representation for 3D Perception in Autonomous Driving [47.590099762244535]
Masked Autoencoders (MAE)は、強力な表現の学習において重要な役割を担い、様々な3D知覚タスクにおいて優れた結果をもたらす。
この研究は、自律運転における統一された表現空間に適したマルチモーダルのMasked Autoencodersに展開する。
画像に固有のセマンティクスとLiDAR点雲の幾何学的複雑さを複雑に結合するため,UniM$2$AEを提案する。
論文 参考訳（メタデータ） (2023-08-21T02:13:40Z) - Single Frame Semantic Segmentation Using Multi-Modal Spherical Images [0.0]
本稿では,マルチモーダル融合と全方向シーン認識のギャップを埋めるトランスフォーマーを用いたクロスモーダル融合アーキテクチャを提案する。
我々は、極端物体の変形とパノラマ歪みに対処するために歪み認識モジュールを用いる。
我々の技術は、Stanford2D3DS(RGB-HHA)60.60%、Structured3D(RGB-D-N)71.97%、Matterport3D(RGB-D)35.92%という最先端のmIoU性能を達成した。
論文 参考訳（メタデータ） (2023-08-18T08:06:18Z) - Panoramic Panoptic Segmentation: Towards Complete Surrounding
Understanding via Unsupervised Contrastive Learning [97.37544023666833]
我々は,パノラマパオプティックセグメンテーションを最も総合的なシーン理解として導入する。
完全な周囲の理解は、エージェントに最大限の情報を提供する。
標準ピンホール画像のモデルトレーニングを可能にし、学習した機能を異なるドメインに転送するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-01T09:37:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。