論文の概要: Mars Traversability Prediction: A Multi-modal Self-supervised Approach for Costmap Generation
- arxiv url: http://arxiv.org/abs/2509.11082v1
- Date: Sun, 14 Sep 2025 04:19:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:22.905423
- Title: Mars Traversability Prediction: A Multi-modal Self-supervised Approach for Costmap Generation
- Title（参考訳）: マーズトラバーサビリティ予測:コストマップ生成のためのマルチモーダル自己教師型アプローチ
- Authors: Zongwu Xie, Kaijie Yun, Yang Liu, Yiming Ji, Han Li,
- Abstract要約: 惑星ローバーのトラバーサビリティコストマップを予測するためのロバストなフレームワークを提案する。
我々のモデルは、カメラとLiDARデータを融合して、鳥眼視(BEV)地形のコストマップを生成する。
主なアップデートは、DINOv3ベースのイメージエンコーダ、FiLMベースのセンサーフュージョンである。
- 参考スコア（独自算出の注目度）: 10.388277401241464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a robust multi-modal framework for predicting traversability costmaps for planetary rovers. Our model fuses camera and LiDAR data to produce a bird's-eye-view (BEV) terrain costmap, trained self-supervised using IMU-derived labels. Key updates include a DINOv3-based image encoder, FiLM-based sensor fusion, and an optimization loss combining Huber and smoothness terms. Experimental ablations (removing image color, occluding inputs, adding noise) show only minor changes in MAE/MSE (e.g. MAE increases from ~0.0775 to 0.0915 when LiDAR is sparsified), indicating that geometry dominates the learned cost and the model is highly robust. We attribute the small performance differences to the IMU labeling primarily reflecting terrain geometry rather than semantics and to limited data diversity. Unlike prior work claiming large gains, we emphasize our contributions: (1) a high-fidelity, reproducible simulation environment; (2) a self-supervised IMU-based labeling pipeline; and (3) a strong multi-modal BEV costmap prediction model. We discuss limitations and future work such as domain generalization and dataset expansion.
- Abstract（参考訳）: 惑星ローバーのトラバーサビリティコストマップを予測するための頑健なマルチモーダルフレームワークを提案する。
我々のモデルは、カメラとLiDARデータを融合して、鳥眼視(BEV)地形のコストマップを生成し、IMU由来のラベルを用いて自己管理する。
主なアップデートには、DINOv3ベースのイメージエンコーダ、FiLMベースのセンサーフュージョン、Huberとスムーズな条件を組み合わせた最適化損失などがある。
実験アブレーション(画像色を除去し、入力を取り除き、ノイズを追加する)は、MAE/MSEのわずかな変化しか示さない(e g MAEは、LiDARがスパース化されると0.0775から0.0915に増加する)。
IMUのラベル付けには、意味論よりも地形幾何学を主に反映しており、データの多様性が制限されていることが特徴である。
1)高忠実で再現可能なシミュレーション環境,(2)自己監督型IMUラベリングパイプライン,(3)強力なマルチモーダルBEVコストマップ予測モデル。
ドメインの一般化やデータセットの拡張といった制約や今後の課題について論じる。
関連論文リスト
- Unified Human Localization and Trajectory Prediction with Monocular Vision [64.19384064365431]
MonoTransmotionはトランスフォーマーベースのフレームワークで、モノクロカメラのみを使用して、ローカライゼーションと予測タスクを共同で解決する。
両タスクを統合フレームワークで共同でトレーニングすることにより,ノイズの多い入力による実環境シナリオにおいて,我々の手法がより堅牢であることを示す。
論文 参考訳（メタデータ） (2025-03-05T14:18:39Z) - LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [52.83707400688378]
LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。
我々のフレームワークは、VFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出し、LiDAR点雲に整列して高品質なコントラストサンプルを生成する。
提案手法は,LDARに基づくセグメント化とオブジェクト検出の両面において,線形探索と微調整の両作業において,最先端の手法よりも大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2025-01-07T18:59:59Z) - Efficient Masked AutoEncoder for Video Object Counting and A Large-Scale Benchmark [52.339936954958034]
前景の動的不均衡は、ビデオオブジェクトのカウントにおいて大きな課題である。
本稿では,密度埋め込み型効率的なマスドオートエンコーダカウント(E-MAC)フレームワークを提案する。
さらに,渡り鳥保護のための自然シナリオにおいて,まず,大規模なビデオバードカウントデータセットであるDroneBirdを提案する。
論文 参考訳（メタデータ） (2024-11-20T06:08:21Z) - FSD-BEV: Foreground Self-Distillation for Multi-view 3D Object Detection [33.225938984092274]
本稿では,分散の相違を効果的に回避するFSD方式を提案する。
また2つのポイントクラウド拡張(PCI)戦略を設計し、ポイントクラウドの幅を補う。
マルチスケール・フォアグラウンド・エンハンスメント(MSFE)モジュールを開発し,マルチスケール・フォアグラウンドの特徴を抽出・融合する。
論文 参考訳（メタデータ） (2024-07-14T09:39:44Z) - BEVWorld: A Multimodal World Simulator for Autonomous Driving via Scene-Level BEV Latents [56.33989853438012]
BEVWorldは,マルチモーダルセンサ入力を統一的でコンパクトなBird's Eye View潜在空間に変換し,全体的環境モデリングを行うフレームワークである。
提案する世界モデルは,多モードトークン化器と遅延BEVシーケンス拡散モデルという2つの主要成分から構成される。
論文 参考訳（メタデータ） (2024-07-08T07:26:08Z) - Learning Shared RGB-D Fields: Unified Self-supervised Pre-training for Label-efficient LiDAR-Camera 3D Perception [17.11366229887873]
我々は、統合事前訓練戦略、NeRF-Supervised Masked Auto(NS-MAE)を導入する。
NS-MAEは、外観と幾何学の両方を符号化するNeRFの能力を利用して、マルチモーダルデータの効率的なマスク付き再構築を可能にする。
結果: NS-MAE は SOTA 事前学習法よりも優れており,各モードに対して個別の戦略を用いる。
論文 参考訳（メタデータ） (2024-05-28T08:13:49Z) - UniM$^2$AE: Multi-modal Masked Autoencoders with Unified 3D Representation for 3D Perception in Autonomous Driving [47.590099762244535]
Masked Autoencoders (MAE)は、強力な表現の学習において重要な役割を担い、様々な3D知覚タスクにおいて優れた結果をもたらす。
この研究は、自律運転における統一された表現空間に適したマルチモーダルのMasked Autoencodersに展開する。
画像に固有のセマンティクスとLiDAR点雲の幾何学的複雑さを複雑に結合するため,UniM$2$AEを提案する。
論文 参考訳（メタデータ） (2023-08-21T02:13:40Z) - MIMIC: Masked Image Modeling with Image Correspondences [29.8154890262928]
効果的な事前トレーニングデータセットを構築するための現在の方法は、アノテーション付き3Dメッシュ、ポイントクラウド、シミュレートされた環境からのカメラパラメータに依存している。
我々は、追加のアノテーションを必要としない事前トレーニングされたデータセットキュレーションアプローチを提案する。
提案手法により,実世界のビデオとシミュレーション環境の両方から,大規模にマルチビューデータセットを生成することができる。
論文 参考訳（メタデータ） (2023-06-27T00:40:12Z) - MAELi: Masked Autoencoder for Large-Scale LiDAR Point Clouds [13.426810473131642]
Masked AutoEncoder for LiDAR Point clouds (MAELi) は、復元中にエンコーダとデコーダの両方でLiDARポイントクラウドの空間性を直感的に活用する。
新たな再構築アプローチでは、MAELiは空空間と隠された空間を区別する。
これにより、MAELiは基礎となる3次元シーンの幾何学と意味論の理解を得る。
論文 参考訳（メタデータ） (2022-12-14T13:10:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。