論文の概要: Semantic Complete Scene Forecasting from a 4D Dynamic Point Cloud Sequence

• arxiv url: http://arxiv.org/abs/2312.08054v2
• Date: Fri, 15 Dec 2023 16:03:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 12:45:23.467589
• Title: Semantic Complete Scene Forecasting from a 4D Dynamic Point Cloud Sequence
• Title（参考訳）: 4次元動的点雲列による意味的完全シーン予測
• Authors: Zifan Wang, Zhuorui Ye, Haoran Wu, Junyu Chen, Li Yi
• Abstract要約: 本研究では,本研究における意味的完全シーン予測(SCSF)の新たな課題について検討する。 4次元のダイナミックポイントクラウドシーケンスを前提として,将来的な次のフレームに対応するシーンを,セマンティックラベルとともに予測することを目的としている。 SCSFNetと呼ばれる新しいネットワークを通じて,将来予測とセマンティックシーン完了の相乗関係を適切にモデル化する。
• 参考スコア（独自算出の注目度）: 38.41931218909044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a new problem of semantic complete scene forecasting (SCSF) in this work. Given a 4D dynamic point cloud sequence, our goal is to forecast the complete scene corresponding to the future next frame along with its semantic labels. To tackle this challenging problem, we properly model the synergetic relationship between future forecasting and semantic scene completion through a novel network named SCSFNet. SCSFNet leverages a hybrid geometric representation for high-resolution complete scene forecasting. To leverage multi-frame observation as well as the understanding of scene dynamics to ease the completion task, SCSFNet introduces an attention-based skip connection scheme. To ease the need to model occlusion variations and to better focus on the occluded part, SCSFNet utilizes auxiliary visibility grids to guide the forecasting task. To evaluate the effectiveness of SCSFNet, we conduct experiments on various benchmarks including two large-scale indoor benchmarks we contributed and the outdoor SemanticKITTI benchmark. Extensive experiments show SCSFNet outperforms baseline methods on multiple metrics by a large margin, and also prove the synergy between future forecasting and semantic scene completion.
• Abstract（参考訳）: 本研究では,本研究における意味的完全シーン予測(SCSF)の新たな課題について検討する。 4次元のダイナミックポイントクラウドシーケンスを前提として,将来的な次のフレームに対応するシーンを,セマンティックラベルとともに予測する。 この課題に対処するために、SCSFNetという新しいネットワークを通じて、将来の予測とセマンティックシーン完了の相乗関係を適切にモデル化する。 SCSFNetはハイレゾ完全シーン予測にハイブリッド幾何表現を利用する。 複数フレームの観察とシーンダイナミクスの理解を活用して完了作業を容易にするため、SCSFNetは注意に基づくスキップ接続方式を導入した。 閉塞変動のモデル化を容易にし、閉塞部分に集中するため、SCSFNetは補助的な可視グリッドを使用して予測タスクを誘導する。 SCSFNetの有効性を評価するため、2つの大規模屋内ベンチマークと屋外セマンティックKITTIベンチマークを含む様々なベンチマークで実験を行った。 広範な実験により、scsfnetは複数のメトリクスのベースラインメソッドを大きなマージンで上回り、将来の予測とセマンティックシーンの補完の相乗効果を証明している。

関連論文リスト

• SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
  天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。 伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。 本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:00:15Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• SSC-RS: Elevate LiDAR Semantic Scene Completion with Representation Separation and BEV Fusion [17.459062337718677]
  本稿では,表現分離とBEV融合の観点から,屋外SSCを解くことを提案する。 本稿では,SSC-RSと命名されたネットワークについて述べる。このネットワークは,意味的および幾何学的表現の学習手順を明示的に切り離すために,深い監督を伴う分岐を用いている。 提案したAdaptive Representation Fusion (ARF) モジュールを備えたBEV融合ネットワークを用いて, マルチスケール特徴を効果的かつ効率的に集約する。
  論文  参考訳（メタデータ） (2023-06-27T10:02:45Z)
• Tracking Objects and Activities with Attention for Temporal Sentence Grounding [51.416914256782505]
  時間文 (TSG) は、意味的に自然言語のクエリと一致した時間セグメントを、トリミングされていないセグメントでローカライズすることを目的としている。 本稿では,(A)マルチモーダル・検索空間を生成するクロスモーダル・ターゲット・ジェネレータと(B)マルチモーダル・ターゲットの動作を追跡し,クエリ関連セグメントを予測するテンポラル・センセント・トラッカーとを含む,新しいテンポラル・センセント・トラッカー・ネットワーク(TSTNet)を提案する。
  論文  参考訳（メタデータ） (2023-02-21T16:42:52Z)
• CasFusionNet: A Cascaded Network for Point Cloud Semantic Scene Completion by Dense Feature Fusion [14.34344002500153]
  本稿では,高密度特徴融合によるポイントクラウドセマンティックシーン補完のための新しいカスケードネットワークCasFusionNetを提案する。 上記の3つのモジュールを,各レベルでの高密度な特徴融合によって整理し,合計4つのレベルをカスケードし,各レベル間の特徴融合を十分な情報利用に活用する。
  論文  参考訳（メタデータ） (2022-11-24T16:36:42Z)
• GFNet: Geometric Flow Network for 3D Point Cloud Semantic Segmentation [91.15865862160088]
  本稿では,異なるビュー間の幾何対応性を検討するための幾何フローネットワーク (GFNet) を提案する。 具体的には、異なる視点にまたがって補完情報を双方向に整列し、伝播する新しい幾何フローモジュール(GFM)を考案する。
  論文  参考訳（メタデータ） (2022-07-06T11:48:08Z)
• Learning Scene Dynamics from Point Cloud Sequences [8.163697683448811]
  本稿では,一列に1組の点雲に対して3次元のシーンフローを予測することを目的とした,時間的シーンフロー推定(SSFE)という新たな問題を提案する。 本稿では,SPCM-Netアーキテクチャを導入し,近隣の点群間のマルチスケール相関を計算してこの問題を解決する。 我々は,この手法を逐次点雲予測のために効果的に修正できることを実証した。
  論文  参考訳（メタデータ） (2021-11-16T19:52:46Z)
• Segmenting 3D Hybrid Scenes via Zero-Shot Learning [13.161136148641813]
  この研究は、ゼロショット学習の枠組みの下で、3Dハイブリッドシーンのポイントクラウドセマンティックセマンティックセマンティクスの問題に取り組むことを目的としている。 本稿では、PFNetと呼ばれる、オブジェクトの様々なクラスに対するポイント特徴を、見えていないクラスと見えないクラスの両方のセマンティック特徴を利用して合成するネットワークを提案する。 提案したPFNet は点特徴を合成するために GAN アーキテクチャを用いており、新しい意味正規化器を適用することにより、目に見えるクラスと目に見えないクラスの特徴のセマンティックな関係が統合される。 本研究では,S3DISデータセットとScanNetデータセットを6つの異なるデータ分割で再編成し,アルゴリズム評価のための2つのベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-07-01T13:21:49Z)
• S3CNet: A Sparse Semantic Scene Completion Network for LiDAR Point Clouds [0.16799377888527683]
  S3CNetはスパース畳み込みに基づくニューラルネットワークで、単一で統一されたLiDARポイントクラウドからセマンティックに完了したシーンを予測する。 提案手法は,Semantic KITTI ベンチマークを用いて,3次元課題における全ての課題に対して優れることを示す。
  論文  参考訳（メタデータ） (2020-12-16T20:14:41Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。