論文の概要: OccFiner: Offboard Occupancy Refinement with Hybrid Propagation
- arxiv url: http://arxiv.org/abs/2403.08504v2
- Date: Fri, 15 Mar 2024 06:31:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 10:49:12.390056
- Title: OccFiner: Offboard Occupancy Refinement with Hybrid Propagation
- Title(参考訳): OccFiner: ハイブリッドプロパゲーションによるオフボード業務のリファインメント
- Authors: Hao Shi, Song Wang, Jiaming Zhang, Xiaoting Yin, Zhongdao Wang, Zhijian Zhao, Guangming Wang, Jianke Zhu, Kailun Yang, Kaiwei Wang,
- Abstract要約: OccFinerは、視覚ベースの占有率予測の精度を高めるために設計された、新しいオフボードフレームワークである。
OccFinerは、1)複数のローカルなフレームを暗黙的に整列して処理し、モデルエラーを訂正し、すべての距離にわたって占有精度を一貫して向上するマルチツーマルチローカルな伝搬ネットワークである。
- 参考スコア(独自算出の注目度): 36.8023745719783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-based occupancy prediction, also known as 3D Semantic Scene Completion (SSC), presents a significant challenge in computer vision. Previous methods, confined to onboard processing, struggle with simultaneous geometric and semantic estimation, continuity across varying viewpoints, and single-view occlusion. Our paper introduces OccFiner, a novel offboard framework designed to enhance the accuracy of vision-based occupancy predictions. OccFiner operates in two hybrid phases: 1) a multi-to-multi local propagation network that implicitly aligns and processes multiple local frames for correcting onboard model errors and consistently enhancing occupancy accuracy across all distances. 2) the region-centric global propagation, focuses on refining labels using explicit multi-view geometry and integrating sensor bias, especially to increase the accuracy of distant occupied voxels. Extensive experiments demonstrate that OccFiner improves both geometric and semantic accuracy across various types of coarse occupancy, setting a new state-of-the-art performance on the SemanticKITTI dataset. Notably, OccFiner elevates vision-based SSC models to a level even surpassing that of LiDAR-based onboard SSC models.
- Abstract(参考訳): 3Dセマンティックシーンコンプリート(3D Semantic Scene Completion, SSC)は、コンピュータビジョンにおいて重要な課題である。
従来の手法は、オンボード処理に限られており、同時幾何的および意味的推定、様々な視点における連続性、単一視点の排他性に苦慮していた。
OccFinerは,視覚による占有率予測の精度を高めるために設計された,新しいオフボードフレームワークである。
OccFinerは2つのハイブリッドフェーズで動作します。
1)複数の局所的フレームを暗黙的に整列処理してモデルエラーを訂正し、全距離にわたって占有精度を一貫して向上するマルチ・マルチ・ローカル・プロパゲーションネットワーク。
2) 地域中心のグローバルな伝播は, 明示的なマルチビュー幾何を用いてラベルを精細化し, センサバイアスを統合することに焦点を当てている。
大規模な実験により、OccFinerは様々な種類の粗い占有領域における幾何学的および意味論的精度を向上し、SemanticKITTIデータセットに新しい最先端のパフォーマンスを設定できることを示した。
特に、OccFinerは視覚ベースのSSCモデルをLiDARベースのSSCモデルよりも高いレベルに引き上げている。
関連論文リスト
- Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。
AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。
AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2024-03-12T11:48:49Z) - 360 Layout Estimation via Orthogonal Planes Disentanglement and
Multi-view Geometric Consistency Perception [60.23832277827669]
既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元する傾向がある。
水平深度と比表現に適した教師なし適応手法を提案する。
また,決定レベルのレイアウト解析のための最適化手法と,特徴レベルのマルチビューアグリゲーションのための1次元コストボリューム構築手法も導入する。
論文 参考訳(メタデータ) (2023-12-26T12:16:03Z) - RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering
Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。
本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文 参考訳(メタデータ) (2023-12-19T03:39:56Z) - Camera-based 3D Semantic Scene Completion with Sparse Guidance Network [20.876048262597255]
セマンティック・シーン・コンプリート (SSC) は, 限られた観察結果から, 3次元シーン全体における各ボクセルのセマンティック・コンプリート(セマンティック・シーン・コンプリート)を予測することを目的としている。
本稿では,SGNと呼ばれるエンドツーエンドカメラベースのSSCフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-10T04:17:27Z) - View Consistent Purification for Accurate Cross-View Localization [59.48131378244399]
本稿では,屋外ロボットのための微細な自己局在化手法を提案する。
提案手法は,既存のクロスビューローカライゼーション手法の限界に対処する。
これは、動的環境における知覚を増強する初めての疎視のみの手法である。
論文 参考訳(メタデータ) (2023-08-16T02:51:52Z) - Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。
自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
論文 参考訳(メタデータ) (2021-05-05T17:49:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。