論文の概要: LEF: Late-to-Early Temporal Fusion for LiDAR 3D Object Detection

• arxiv url: http://arxiv.org/abs/2309.16870v1
• Date: Thu, 28 Sep 2023 21:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 16:18:48.344460
• Title: LEF: Late-to-Early Temporal Fusion for LiDAR 3D Object Detection
• Title（参考訳）: LEF:LiDAR3Dオブジェクト検出のための時間-時間融合
• Authors: Tong He, Pei Sun, Zhaoqi Leng, Chenxi Liu, Dragomir Anguelov, Mingxing Tan
• Abstract要約: 時間的LiDAR点雲を用いた3次元物体検出のための特徴融合手法を提案する。 私たちの主な動機は、3Dオブジェクト検出器の初期段階にオブジェクト認識の潜伏埋め込みを融合させることです。
• 参考スコア（独自算出の注目度）: 40.267769862404684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a late-to-early recurrent feature fusion scheme for 3D object detection using temporal LiDAR point clouds. Our main motivation is fusing object-aware latent embeddings into the early stages of a 3D object detector. This feature fusion strategy enables the model to better capture the shapes and poses for challenging objects, compared with learning from raw points directly. Our method conducts late-to-early feature fusion in a recurrent manner. This is achieved by enforcing window-based attention blocks upon temporally calibrated and aligned sparse pillar tokens. Leveraging bird's eye view foreground pillar segmentation, we reduce the number of sparse history features that our model needs to fuse into its current frame by 10$\times$. We also propose a stochastic-length FrameDrop training technique, which generalizes the model to variable frame lengths at inference for improved performance without retraining. We evaluate our method on the widely adopted Waymo Open Dataset and demonstrate improvement on 3D object detection against the baseline model, especially for the challenging category of large objects.
• Abstract（参考訳）: 本稿では,時間的LiDAR点雲を用いた3次元物体検出のための特徴融合手法を提案する。 私たちの主な動機は、3dオブジェクト検出器の初期段階にオブジェクト認識の潜在埋め込みを組み込むことです。 この機能融合戦略により、モデルは生の点から直接学ぶよりも、挑戦的な物体の形状やポーズをよりよく捉えることができる。 本手法は, 後期から早期の核融合を反復的に行う。 これは、時間的に校正および整列されたスパース柱トークンにウィンドウベースのアテンションブロックを強制することで達成される。 bird's eye view foreground pillar segmentationを利用することで、モデルが現在のフレームに融合する必要があるスパース履歴フィーチャの数を10$\times$で削減します。 また,確率的長さのフレームドロップトレーニング手法を提案する。 本手法は広範に採用されているWaymo Open Dataset上で評価され,特に大規模オブジェクトの挑戦的カテゴリにおいて,ベースラインモデルに対する3次元オブジェクト検出の改善を示す。

関連論文リスト

• Future Does Matter: Boosting 3D Object Detection with Temporal Motion Estimation in Point Cloud Sequences [25.74000325019015]
  クロスフレーム動作予測情報を用いた時空間特徴学習を容易にするために,新しいLiDAR 3Dオブジェクト検出フレームワークLiSTMを導入する。 我々は,本フレームワークが優れた3次元検出性能を実現することを示すため,アグリゲーションとnuScenesデータセットの実験を行った。
  論文  参考訳（メタデータ） (2024-09-06T16:29:04Z)
• PTT: Point-Trajectory Transformer for Efficient Temporal 3D Object Detection [66.94819989912823]
  時間的3次元物体検出を効率的に行うために,長期記憶が可能な点トラジェクトリ変換器を提案する。 私たちは、メモリバンクのストレージ要件を最小限に抑えるために、現在のフレームオブジェクトのポイントクラウドとその履歴トラジェクトリを入力として使用します。 大規模データセットに対する広範な実験を行い、我々のアプローチが最先端の手法に対してうまく機能することを実証した。
  論文  参考訳（メタデータ） (2023-12-13T18:59:13Z)
• What You See Is What You Detect: Towards better Object Densification in 3D detection [2.3436632098950456]
  広く使われているフル形状のコンプリートアプローチは、特に遠く離れた物や歩行者のような小さな物に対して、エラーのアップバウンドを高くする。 従来の手法が生成した予測ポイントの11.3%しか必要としない可視部分補完法を提案する。 密表現を復元するために,目に見える前景オブジェクトに関連付けられた点集合を拡大するメッシュデフォーメーションに基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-10-27T01:46:37Z)
• DetZero: Rethinking Offboard 3D Object Detection with Long-term Sequential Point Clouds [55.755450273390004]
  既存のオフボード3D検出器は、無限の逐次点雲を利用するために常にモジュラーパイプライン設計に従っている。 その結果, 物体の運動状態は, 物体中心の精製段階において必然的な課題となること, 物体の運動状態は, 物体軌道を十分に生成できないこと, 物体中心の精製段階において必然的な課題となること, の2つの理由から, オフボード型3D検出器の完全なポテンシャルは明らかにされていないことがわかった。 これらの問題に対処するために,DetZero という,オフボード型3次元物体検出の新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-06-09T16:42:00Z)
• Once Detected, Never Lost: Surpassing Human Performance in Offline LiDAR based 3D Object Detection [50.959453059206446]
  本稿では,高性能なオフラインLiDARによる3Dオブジェクト検出を実現することを目的とする。 まず、経験豊富な人間のアノテータが、トラック中心の視点でオブジェクトに注釈を付けるのを観察する。 従来のオブジェクト中心の視点ではなく,トラック中心の視点で高性能なオフライン検出器を提案する。
  論文  参考訳（メタデータ） (2023-04-24T17:59:05Z)
• RBGNet: Ray-based Grouping for 3D Object Detection [104.98776095895641]
  本稿では,点雲からの正確な3次元物体検出のための投票型3次元検出器RBGNetフレームワークを提案する。 決定された光線群を用いて物体表面上の点方向の特徴を集約する。 ScanNet V2 と SUN RGB-D による最先端の3D 検出性能を実現する。
  論文  参考訳（メタデータ） (2022-04-05T14:42:57Z)
• CVFNet: Real-time 3D Object Detection by Learning Cross View Features [11.402076835949824]
  CVFNetと呼ばれるリアルタイムビューベースの1段3Dオブジェクト検出器を提案する。 本稿ではまず,複数の段階において,ポイント・アンド・レンジ・ビュー機能を深く統合した新しいポイント・ラウンジ機能融合モジュールを提案する。 次に, 得られた深度視点特徴を鳥の目視に変換する際に, 3次元形状を良好に維持する特別のスライスピラーを設計する。
  論文  参考訳（メタデータ） (2022-03-13T06:23:18Z)
• Lifting 2D Object Locations to 3D by Discounting LiDAR Outliers across Objects and Views [70.1586005070678]
  本稿では,2次元マスクオブジェクトの予測と生のLiDAR点雲を自動的に3次元境界ボックスに変換するシステムを提案する。 これらの手法は, より複雑なパイプラインや3Dモデル, 付加的な人為的な事前情報ソースを使用するにもかかわらず, 従来よりもはるかに優れていた。
  論文  参考訳（メタデータ） (2021-09-16T13:01:13Z)
• Temp-Frustum Net: 3D Object Detection with Temporal Fusion [0.0]
  3Dオブジェクト検出は、自動運転システムの中核コンポーネントです。 フレームバイフレームの3dオブジェクト検出はノイズ、視野障害、スパーシティに苦しむ。 これらの問題を緩和するための新しい時間融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-25T09:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。