論文の概要: MemorySeg: Online LiDAR Semantic Segmentation with a Latent Memory

• arxiv url: http://arxiv.org/abs/2311.01556v1
• Date: Thu, 2 Nov 2023 19:18:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 16:00:17.691972
• Title: MemorySeg: Online LiDAR Semantic Segmentation with a Latent Memory
• Title（参考訳）: MemorySeg: 遅延メモリを備えたオンラインLiDARセマンティックセマンティックセグメンテーション
• Authors: Enxu Li, Sergio Casas, Raquel Urtasun
• Abstract要約: 本稿では,LiDAR点雲の時間的シーケンスのセマンティックセグメンテーションのための新しいフレームワークを提案する。 過去の情報を保存、更新、検索するために、メモリネットワークを使用します。 我々のフレームワークには、点雲の近傍で予測変動を罰する正規化器も含まれている。
• 参考スコア（独自算出の注目度）: 43.47217183838879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation of LiDAR point clouds has been widely studied in recent years, with most existing methods focusing on tackling this task using a single scan of the environment. However, leveraging the temporal stream of observations can provide very rich contextual information on regions of the scene with poor visibility (e.g., occlusions) or sparse observations (e.g., at long range), and can help reduce redundant computation frame after frame. In this paper, we tackle the challenge of exploiting the information from the past frames to improve the predictions of the current frame in an online fashion. To address this challenge, we propose a novel framework for semantic segmentation of a temporal sequence of LiDAR point clouds that utilizes a memory network to store, update and retrieve past information. Our framework also includes a regularizer that penalizes prediction variations in the neighborhood of the point cloud. Prior works have attempted to incorporate memory in range view representations for semantic segmentation, but these methods fail to handle occlusions and the range view representation of the scene changes drastically as agents nearby move. Our proposed framework overcomes these limitations by building a sparse 3D latent representation of the surroundings. We evaluate our method on SemanticKITTI, nuScenes, and PandaSet. Our experiments demonstrate the effectiveness of the proposed framework compared to the state-of-the-art.
• Abstract（参考訳）: LiDAR点雲のセマンティックセグメンテーションは近年広く研究されており、既存のほとんどの手法は環境の単一スキャンを用いてこの課題に取り組むことに焦点を当てている。 しかし、時間的な観察の流れを活用することで、シーンの領域についての非常に豊かな文脈情報(例えば、オクルージョン)やスパース観測(例えば、長い範囲で)が得られ、フレーム後の冗長な計算フレームを減らすのに役立つ。 本稿では,過去のフレームからの情報を活用し,現在のフレームの予測をオンライン形式で改善するという課題に挑戦する。 この課題に対処するために,メモリネットワークを利用して過去の情報を保存,更新,検索する,LDARポイントクラウドの時間的シーケンスのセグメンテーションのための新しいフレームワークを提案する。 当社のフレームワークには、ポイントクラウド近傍の予測変動をペナライズするレギュレータも含まれています。 先行研究は、セマンティックセグメンテーションのための範囲ビュー表現にメモリを組み込もうとしたが、これらの手法はオクルージョンの処理に失敗し、周囲のエージェントが移動するにつれてシーンの範囲ビュー表現が劇的に変化する。 提案するフレームワークは, 周囲の粗い3次元潜在表現を構築することで, これらの制約を克服する。 我々はSemanticKITTI, nuScenes, PandaSetについて検討した。 提案手法の有効性を,最先端のフレームワークと比較して実証した。

関連論文リスト

• Coarse-to-Fine Proposal Refinement Framework for Audio Temporal Forgery Detection and Localization [60.899082019130766]
  本稿では、フレームレベル検出ネットワーク(FDN)と、音声の時間的偽造検出とローカライゼーションのための改良ネットワーク(PRN)を提案する。 FDNは、偽のフレーム間で情報的不整合の手がかりを抽出し、偽の領域を大まかに示すのに有用な識別的特徴を得る。 PRNは、FDNから派生した粗粒度の提案を洗練するために、信頼スコアと回帰オフセットを予測する責任がある。
  論文  参考訳（メタデータ） (2024-07-23T15:07:52Z)
• Multi-modality Affinity Inference for Weakly Supervised 3D Semantic Segmentation [47.81638388980828]
  本稿では,マルチモーダルポイント親和性推論モジュールを新たに導入した,シンプルで効果的なシーンレベルの弱教師付きポイントクラウドセグメンテーション法を提案する。 ScanNet と S3DIS のベンチマークでは,最先端の ScanNet と S3DIS のベンチマークでは 4% から 6% の mIoU を達成している。
  論文  参考訳（メタデータ） (2023-12-27T14:01:35Z)
• ContrastMotion: Self-supervised Scene Motion Learning for Large-Scale LiDAR Point Clouds [21.6511040107249]
  BEV表現を用いたLiDARに基づく自律走行のための新しい自律走行推定器を提案する。 連続するフレームにおける柱間の特徴レベルの整合性によるシーンの動きを予測し,ダイナミックなシーンにおけるノイズポイントや視点変化点雲の影響を解消する。
  論文  参考訳（メタデータ） (2023-04-25T05:46:24Z)
• Rethinking Range View Representation for LiDAR Segmentation [66.73116059734788]
  「多対一」マッピング、意味的不整合、形状変形は、射程射影からの効果的な学習に対する障害となる可能性がある。 RangeFormerは、ネットワークアーキテクチャ、データ拡張、後処理を含む新しい設計を含む、フルサイクルのフレームワークである。 比較対象のLiDARセマンティックスとパノプティックスセグメンテーションのベンチマークにおいて,初めてレンジビュー法が点,ボクセル,マルチビューフュージョンを越えられることを示す。
  論文  参考訳（メタデータ） (2023-03-09T16:13:27Z)
• Panoptic nuScenes: A Large-Scale Benchmark for LiDAR Panoptic Segmentation and Tracking [11.950994311766898]
  一般的なnuScenesデータセットを拡張した大規模なPanoptic nuScenesベンチマークデータセットを紹介した。 パン光学追跡のための既存のメトリクスの欠点を分析し、新しいインスタンス中心のPATメトリクスを提案する。 この拡張により、動的な都市環境のシーン理解のための新しい手法の研究が加速すると考えている。
  論文  参考訳（メタデータ） (2021-09-08T17:45:37Z)
• LiDAR-based Recurrent 3D Semantic Segmentation with Temporal Memory Alignment [0.0]
  本稿では,単一範囲の画像フレームを入力とする再帰セグメンテーションアーキテクチャ(RNN)を提案する。 私たちがテンポラルメモリアライメントと呼ぶアライメント戦略は、エゴモーションを使用して、フィーチャースペース内の連続フレーム間のメモリをテンポラリアライメントします。 2つの大規模データセットに対する提案手法の利点を実証し,いくつかの最先端手法と比較する。
  論文  参考訳（メタデータ） (2021-03-03T09:01:45Z)
• Spatiotemporal Graph Neural Network based Mask Reconstruction for Video Object Segmentation [70.97625552643493]
  本稿では,クラス非依存オブジェクトを半教師あり設定でセグメント化するタスクについて述べる。 提案手法のすべてを利用して局所的なコンテキストを捕捉する新しいグラフニューラルネットワーク(TG-Net)を提案する。
  論文  参考訳（メタデータ） (2020-12-10T07:57:44Z)
• Panoster: End-to-end Panoptic Segmentation of LiDAR Point Clouds [81.12016263972298]
  我々は,LiDAR点雲のための提案不要なパノプティックセグメンテーション手法であるパノスターを提案する。 従来のアプローチとは異なり、Panosterでは、インスタンスを識別するための学習ベースのクラスタリングソリューションを組み込んだ、シンプルなフレームワークを提案している。 推論時に、これはクラスに依存しないセグメンテーションとして機能し、パノスターは高速で、精度の点で先行メソッドよりも優れている。
  論文  参考訳（メタデータ） (2020-10-28T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。