Fugu-MT 論文翻訳(概要): OccRWKV: Rethinking Efficient 3D Semantic Occupancy Prediction with Linear Complexity

論文の概要: OccRWKV: Rethinking Efficient 3D Semantic Occupancy Prediction with Linear Complexity

arxiv url: http://arxiv.org/abs/2409.19987v2
Date: Tue, 1 Oct 2024 20:56:03 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 16:27:46.863895
Title: OccRWKV: Rethinking Efficient 3D Semantic Occupancy Prediction with Linear Complexity
Title（参考訳）: OccRWKV:線形複雑度を考慮した効率的な3次元セマンティック動作予測の再考
Authors: Junming Wang, Wei Yin, Xiaoxiao Long, Xingyu Zhang, Zebin Xing, Xiaoyang Guo, Qian Zhang,
Abstract要約: 3次元セマンティック占有予測ネットワークは,3次元シーンの幾何学的および意味的構造を再構築する際,顕著な能力を示した。我々は、RWKV(Receptance Weighted Key Value)にインスパイアされた効率的なセマンティック占有ネットワークOccRWKVを紹介する。 OccRWKVはセマンティクス、占有予測、特徴融合を分離し、それぞれSem-RWKVとGeo-RWKVブロックを組み込む。
参考スコア（独自算出の注目度）: 11.287721740276048
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: 3D semantic occupancy prediction networks have demonstrated remarkable capabilities in reconstructing the geometric and semantic structure of 3D scenes, providing crucial information for robot navigation and autonomous driving systems. However, due to their large overhead from dense network structure designs, existing networks face challenges balancing accuracy and latency. In this paper, we introduce OccRWKV, an efficient semantic occupancy network inspired by Receptance Weighted Key Value (RWKV). OccRWKV separates semantics, occupancy prediction, and feature fusion into distinct branches, each incorporating Sem-RWKV and Geo-RWKV blocks. These blocks are designed to capture long-range dependencies, enabling the network to learn domain-specific representation (i.e., semantics and geometry), which enhances prediction accuracy. Leveraging the sparse nature of real-world 3D occupancy, we reduce computational overhead by projecting features into the bird's-eye view (BEV) space and propose a BEV-RWKV block for efficient feature enhancement and fusion. This enables real-time inference at 22.2 FPS without compromising performance. Experiments demonstrate that OccRWKV outperforms the state-of-the-art methods on the SemanticKITTI dataset, achieving a mIoU of 25.1 while being 20 times faster than the best baseline, Co-Occ, making it suitable for real-time deployment on robots to enhance autonomous navigation efficiency. Code and video are available on our project page: https://jmwang0117.github.io/OccRWKV/.
Abstract（参考訳）: 3Dセマンティック占有予測ネットワークは、3Dシーンの幾何学的・意味的構造を再構築し、ロボットナビゲーションや自律運転システムにとって重要な情報を提供する際、顕著な能力を示した。しかし、ネットワーク構造設計によるオーバーヘッドが大きいため、既存のネットワークは精度とレイテンシのバランスをとることの難しさに直面している。本稿では,Receptance Weighted Key Value (RWKV) にヒントを得た,効率的なセマンティック占有ネットワークであるOccRWKVを紹介する。 OccRWKVはセマンティクス、占有予測、特徴融合を分離し、それぞれSem-RWKVとGeo-RWKVブロックを組み込む。これらのブロックは、長い範囲の依存関係をキャプチャして、ドメイン固有の表現(セマンティクスや幾何学)を学習し、予測精度を高めるように設計されている。実世界の3D占有のスパース性を生かして,鳥眼ビュー(BEV)空間に特徴を投影することで計算オーバーヘッドを低減し,効率的な特徴強調と融合のためのBEV-RWKVブロックを提案する。これにより、パフォーマンスを損なうことなく22.2 FPSでのリアルタイム推論が可能になる。 OccRWKVはSemanticKITTIデータセットの最先端の手法よりも優れており、最高のベースラインであるCo-Occの20倍の速度で25.1mIoUを達成した。コードとビデオはプロジェクトのページで公開されている。

関連論文リスト

Robust 3D Semantic Occupancy Prediction with Calibration-free Spatial Transformation [32.50849425431012]
マルチカメラとLiDARを備えた自動運転車では、高精度で堅牢な予測のために、マルチセンサー情報を統一された3D空間に集約することが重要である。最近の手法は主にセンサキャリブレーションに依存する2D-to-3D変換に基づいて構築され,2D画像情報を3D空間に投影する。本研究では,空間対応を暗黙的にモデル化するために,バニラ注意に基づく校正自由空間変換を提案する。
論文参考訳（メタデータ） (2024-11-19T02:40:42Z)
ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
論文参考訳（メタデータ） (2024-11-12T11:32:56Z)
OMEGA: Efficient Occlusion-Aware Navigation for Air-Ground Robot in Dynamic Environments via State Space Model [12.09638785374894]
地上ロボット(AGR)は、監視や災害対応に広く利用されている。現在のAGRナビゲーションシステムは、静的環境においてよく機能する。しかし、これらのシステムは動的で厳しい閉塞シーンの課題に直面している。これらの問題に対処するために,効率的なAGR-Plannerを用いたOccMambaを提案する。
論文参考訳（メタデータ） (2024-08-20T07:50:29Z)
Real-Time 3D Occupancy Prediction via Geometric-Semantic Disentanglement [8.592248643229675]
運転予測は自律運転(AD)において重要な役割を担っている既存の手法はしばしば高い計算コストを発生させるが、これはADのリアルタイム要求と矛盾する。ハイブリッドBEV-Voxel表現を用いた幾何学的意味的デュアルブランチネットワーク(GSDBN)を提案する。
論文参考訳（メタデータ） (2024-07-18T04:46:13Z)
Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。 textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。 SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
論文参考訳（メタデータ） (2024-03-02T08:18:57Z)
OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文参考訳（メタデータ） (2023-12-14T18:58:52Z)
ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文参考訳（メタデータ） (2023-11-29T20:30:18Z)
OccFormer: Dual-path Transformer for Vision-based 3D Semantic Occupancy Prediction [16.66987810790077]
OccFormerは、意味的占有予測のために3Dボリュームを処理するデュアルパストランスフォーマーネットワークである。カメラが生成する3Dボクセル機能の長距離、ダイナミック、効率的なエンコーディングを実現している。
論文参考訳（メタデータ） (2023-04-11T16:15:50Z)
SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
論文参考訳（メタデータ） (2022-09-13T12:12:19Z)
RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks on Mobile Devices [57.877112704841366]
本稿では3次元CNNのためのモデル圧縮およびモバイルアクセラレーションフレームワークRT3Dを提案する。 3D CNNのリアルタイム実行は、市販のモバイル上で初めて実現された。
論文参考訳（メタデータ） (2020-07-20T02:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。