論文の概要: Street Gaussians without 3D Object Tracker

• arxiv url: http://arxiv.org/abs/2412.05548v1
• Date: Sat, 07 Dec 2024 05:49:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:25.915570
• Title: Street Gaussians without 3D Object Tracker
• Title（参考訳）: 3Dオブジェクトトラッキングのないストリートガウシアン
• Authors: Ruida Zhang, Chengxi Li, Chenyangguang Zhang, Xingyu Liu, Haili Yuan, Yanyan Li, Xiangyang Ji, Gim Hee Lee,
• Abstract要約: 既存の手法では、オブジェクトポーズの労働集約的な手動ラベリングを使用して、標準的な空間内で動的オブジェクトを再構築し、レンダリング中にこれらのポーズに基づいてそれらを動かす。 本研究では,3次元オブジェクト融合戦略における2次元ディープトラッカーの関連性を利用して,安定なオブジェクト追跡モジュールを提案する。 我々は、軌道誤差を自律的に補正し、見逃した検出を回復する暗黙の特徴空間に、モーションラーニング戦略を導入することで、避けられないトラッキングエラーに対処する。
• 参考スコア（独自算出の注目度）: 86.62329193275916
• License:
• Abstract: Realistic scene reconstruction in driving scenarios poses significant challenges due to fast-moving objects. Most existing methods rely on labor-intensive manual labeling of object poses to reconstruct dynamic objects in canonical space and move them based on these poses during rendering. While some approaches attempt to use 3D object trackers to replace manual annotations, the limited generalization of 3D trackers -- caused by the scarcity of large-scale 3D datasets -- results in inferior reconstructions in real-world settings. In contrast, 2D foundation models demonstrate strong generalization capabilities. To eliminate the reliance on 3D trackers and enhance robustness across diverse environments, we propose a stable object tracking module by leveraging associations from 2D deep trackers within a 3D object fusion strategy. We address inevitable tracking errors by further introducing a motion learning strategy in an implicit feature space that autonomously corrects trajectory errors and recovers missed detections. Experimental results on Waymo-NOTR datasets show we achieve state-of-the-art performance. Our code will be made publicly available.
• Abstract（参考訳）: ドライビングシナリオにおける現実的なシーン再構築は、速く動く物体のために大きな課題を生じさせる。 既存のほとんどの手法は、標準空間における動的オブジェクトを再構成し、レンダリング中にこれらのポーズに基づいてそれらを動かすために、オブジェクトポーズの労働集約的な手動ラベリングに依存している。 手動アノテーションを置き換えるために3Dオブジェクトトラッカーを使おうとするアプローチもあるが、大規模な3Dデータセットの不足に起因する3Dトラッカーの限定的な一般化は、現実世界の設定において劣った再構築をもたらす。 対照的に、2次元基礎モデルは強力な一般化能力を示す。 本研究では,3次元オブジェクト融合戦略における2次元ディープトラッカーの関連性を活用することで,3次元トラッカーへの依存を解消し,多様な環境におけるロバスト性を高めるため,安定なオブジェクトトラッキングモジュールを提案する。 我々は、軌道誤差を自律的に補正し、見逃した検出を回復する暗黙の特徴空間に、モーションラーニング戦略を導入することで、避けられないトラッキングエラーに対処する。 Waymo-NOTRデータセットによる実験結果から,最先端の性能が得られた。 私たちのコードは公開されます。

関連論文リスト

• SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
  本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。 この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。 3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
  論文  参考訳（メタデータ） (2024-04-05T17:59:25Z)
• FocalFormer3D : Focusing on Hard Instance for 3D Object Detection [97.56185033488168]
  3次元物体検出における偽陰性(False negatives, FN)は、自動運転において潜在的に危険な状況を引き起こす可能性がある。 本研究では,マルチステージ方式でtextitFN を識別する汎用パイプラインである Hard Instance Probing (HIP) を提案する。 この手法をFocalFormer3Dとしてインスタンス化する。
  論文  参考訳（メタデータ） (2023-08-08T20:06:12Z)
• Homography Loss for Monocular 3D Object Detection [54.04870007473932]
  ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。 提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
  論文  参考訳（メタデータ） (2022-04-02T03:48:03Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• Relation3DMOT: Exploiting Deep Affinity for 3D Multi-Object Tracking from View Aggregation [8.854112907350624]
  3Dマルチオブジェクトトラッキングは、自律ナビゲーションにおいて重要な役割を果たす。 多くのアプローチでは、トラッキングのための2次元RGBシーケンス内のオブジェクトを検出するが、これは3次元空間内のオブジェクトをローカライズする際の信頼性の欠如である。 本稿では,隣接フレーム内の各オブジェクト間の相関をよりよく活用するために,RelationConvという新しい畳み込み演算を提案する。
  論文  参考訳（メタデータ） (2020-11-25T16:14:40Z)
• Tracking from Patterns: Learning Corresponding Patterns in Point Clouds for 3D Object Tracking [34.40019455462043]
  本稿では,時間点雲データから3次元オブジェクト対応を学習し,対応パターンから動き情報を推測する。 提案手法は,KITTIと大規模Nuscenesデータセットの双方において,既存の3次元追跡手法を超えている。
  論文  参考訳（メタデータ） (2020-10-20T06:07:20Z)
• Tracking Emerges by Looking Around Static Scenes, with Neural 3D Mapping [23.456046776979903]
  本稿では,任意の場面(静的あるいは動的)における静止点のマルチビューデータを利用して,ニューラル3Dマッピングモジュールを学習することを提案する。 ニューラル3Dマッパーは、RGB-Dデータを入力として消費し、深い特徴の3Dボクセルグリッドを出力として生成する。 教師なし3Dオブジェクトトラッカーは、教師なし2Dと2.5Dのトラッカーよりも優れており、教師なし3Dオブジェクトトラッカーの精度に近づいていることを示す。
  論文  参考訳（メタデータ） (2020-08-04T02:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。