論文の概要: Unified Spatio-Temporal Tri-Perspective View Representation for 3D Semantic Occupancy Prediction

• arxiv url: http://arxiv.org/abs/2401.13785v2
• Date: Thu, 4 Apr 2024 13:52:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 19:43:34.787688
• Title: Unified Spatio-Temporal Tri-Perspective View Representation for 3D Semantic Occupancy Prediction
• Title（参考訳）: 3次元意味的活動予測のための一元的時空間三視点表示法
• Authors: Sathira Silva, Savindu Bhashitha Wannigama, Gihan Jayatilaka, Muhammad Haris Khan, Roshan Ragel,
• Abstract要約: 本研究では,時間的コヒーレントな3次元セマンティック占有予測のためのアーキテクチャ2TPVFormerを提案する。 我々は、新しい時間的相互視ハイブリッドアテンション機構を用いて、時間的手がかりを組み込むことにより、事前のプロセスを豊かにする。 実験により,3次元セマンティック・アクシデンシーにおける平均節間差は4.1%改善した。
• 参考スコア（独自算出の注目度）: 6.527178779672975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Holistic understanding and reasoning in 3D scenes play a vital role in the success of autonomous driving systems. The evolution of 3D semantic occupancy prediction as a pretraining task for autonomous driving and robotic downstream tasks capture finer 3D details compared to methods like 3D detection. Existing approaches predominantly focus on spatial cues such as tri-perspective view embeddings (TPV), often overlooking temporal cues. This study introduces a spatiotemporal transformer architecture S2TPVFormer for temporally coherent 3D semantic occupancy prediction. We enrich the prior process by including temporal cues using a novel temporal cross-view hybrid attention mechanism (TCVHA) and generate spatiotemporal TPV embeddings (i.e. S2TPV embeddings). Experimental evaluations on the nuScenes dataset demonstrate a substantial 4.1% improvement in mean Intersection over Union (mIoU) for 3D Semantic Occupancy compared to TPVFormer, confirming the effectiveness of the proposed S2TPVFormer in enhancing 3D scene perception.
• Abstract（参考訳）: 3Dシーンにおける全体的理解と推論は、自律運転システムの成功に重要な役割を果たす。 3Dセマンティック占有予測の進化は、自律走行とロボット下流タスクのための事前訓練タスクとして、3D検出のような方法と比較して細かな3Dの詳細をキャプチャする。 既存のアプローチは、しばしば時間的手がかりを見渡す、トリ・パースペクティブ・ビュー・埋め込み(TPV)のような空間的手がかりに重点を置いている。 本研究では,時間的コヒーレントな3次元セマンティック占有予測のための時空間変圧器アーキテクチャS2TPVFormerを提案する。 我々は、新しい時間的相互視ハイブリッドアテンション機構(TCVHA)を用いて時間的手がかりを組み込んで、時空間TPV埋め込み(すなわちS2TPV埋め込み)を発生させることにより、事前のプロセスを強化した。 nuScenesデータセットの実験的評価では,TPVFormerと比較して,平均3次元セマンティックアクセプタシー(mIoU)が約4.1%向上し,S2TPVFormerの有効性が確認された。

関連論文リスト

• VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous Driving [44.91443640710085]
  VisionPADは、自律運転におけるビジョン中心のアルゴリズムのための、新しい自己教師付き事前訓練パラダイムである。 画像のみを監督として多視点表現を再構築する。 これにより、3Dオブジェクトの検出、占有率予測、マップセグメンテーションのパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2024-11-22T03:59:41Z)
• FastOcc: Accelerating 3D Occupancy Prediction by Fusing the 2D Bird's-Eye View and Perspective View [46.81548000021799]
  自律運転において、3D占有率予測は、より包括的な3Dシーンの理解のために、ボクセル的なステータスとセマンティックラベルを出力する。 近年,ビュートランスフォーメーション技術,地味ラベル生成,精巧なネットワーク設計など,この課題のさまざまな側面を幅広く研究している。 FastOccと呼ばれる新しい手法が提案され、精度を維持しながらモデルを高速化する。 Occ3D-nuScenesベンチマークの実験は、FastOccが高速な推論速度を達成することを示した。
  論文  参考訳（メタデータ） (2024-03-05T07:01:53Z)
• OccFlowNet: Towards Self-supervised Occupancy Estimation via Differentiable Rendering and Occupancy Flow [0.6577148087211809]
  本稿では,2次元ラベルのみを用いたニューラルレイディアンス場(NeRF)による占有率推定手法を提案する。 深度とセマンティックマップの予測や,2次元監視のみに基づく3次元ネットワークのトレーニングには,可変ボリュームレンダリングを用いる。
  論文  参考訳（メタデータ） (2024-02-20T08:04:12Z)
• Visual Point Cloud Forecasting enables Scalable Autonomous Driving [28.376086570498952]
  視覚的自律運転アプリケーションは、セマンティクス、三次元幾何学、時間情報を同時に含む機能を必要とする。 我々は、下流のビジュアルエンコーダを事前訓練するための一般的なモデルViDARを提案する。 実験の結果、例えば3D検出における3.1%のNDS、モーション予測における10%のエラー削減、計画における衝突率15%の削減といった下流タスクが顕著に向上した。
  論文  参考訳（メタデータ） (2023-12-29T15:44:13Z)
• RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
  マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。 本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
  論文  参考訳（メタデータ） (2023-12-19T03:39:56Z)
• Uncertainty-aware State Space Transformer for Egocentric 3D Hand Trajectory Forecasting [79.34357055254239]
  ハンドトラジェクトリ予測は、AR/VRシステムと対話する際の人間の意図の迅速な理解を可能にするために不可欠である。 既存の方法では、現実の3Dアプリケーションでは不十分な2次元画像空間でこの問題に対処する。 初対人視点で観察されたRGBビデオから3次元空間のハンドトラジェクトリを予測することを目的とした,エゴセントリックな3Dハンドトラジェクトリ予測タスクを構築した。
  論文  参考訳（メタデータ） (2023-07-17T04:55:02Z)
• Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction [84.94140661523956]
  本稿では,2つの垂直面を追加してBEVに付随するトリ・パースペクティブ・ビュー(TPV)表現を提案する。 3次元空間の各点を3次元平面上の投影された特徴をまとめてモデル化する。 実験結果から,本モデルは全ボクセルのセマンティック占有率を効果的に予測できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-15T17:58:10Z)
• ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning [132.20119288212376]
  本稿では,認識,予測,計画タスクを同時に行うための,より代表的な特徴の集合に対する時空間的特徴学習手法を提案する。 私たちの知識を最大限に活用するために、私たちは、解釈可能なエンドツーエンドの自動運転システムの各部分を体系的に調査した最初の人です。
  論文  参考訳（メタデータ） (2022-07-15T16:57:43Z)
• Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds [96.9027094562957]
  ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。 幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。 STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
  論文  参考訳（メタデータ） (2021-09-01T04:17:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。