論文の概要: Interactive4D: Interactive 4D LiDAR Segmentation

• arxiv url: http://arxiv.org/abs/2410.08206v1
• Date: Thu, 10 Oct 2024 17:59:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 04:46:03.673278
• Title: Interactive4D: Interactive 4D LiDAR Segmentation
• Title（参考訳）: Interactive4D:インタラクティブ4D LiDARセグメンテーション
• Authors: Ilya Fradlin, Idil Esen Zulfikar, Kadir Yilmaz, Theodora Kontogianni, Bastian Leibe,
• Abstract要約: 既存のアプローチでは、各LiDARスキャンで個々のオブジェクトをシーケンシャルに分割し、シーケンス全体を通してプロセスを繰り返す。 我々は,複数のLiDARスキャン上に複数のオブジェクトを同時に分割できる新しいパラダイムであるインタラクティブ4Dセグメンテーションと,重畳された連続LiDARスキャン上に複数のオブジェクトを1回に分割する対話型4Dセグメンテーションモデルであるインタラクティブ4Dを提案する。
• 参考スコア（独自算出の注目度）: 13.517667641865764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive segmentation has an important role in facilitating the annotation process of future LiDAR datasets. Existing approaches sequentially segment individual objects at each LiDAR scan, repeating the process throughout the entire sequence, which is redundant and ineffective. In this work, we propose interactive 4D segmentation, a new paradigm that allows segmenting multiple objects on multiple LiDAR scans simultaneously, and Interactive4D, the first interactive 4D segmentation model that segments multiple objects on superimposed consecutive LiDAR scans in a single iteration by utilizing the sequential nature of LiDAR data. While performing interactive segmentation, our model leverages the entire space-time volume, leading to more efficient segmentation. Operating on the 4D volume, it directly provides consistent instance IDs over time and also simplifies tracking annotations. Moreover, we show that click simulations are crucial for successful model training on LiDAR point clouds. To this end, we design a click simulation strategy that is better suited for the characteristics of LiDAR data. To demonstrate its accuracy and effectiveness, we evaluate Interactive4D on multiple LiDAR datasets, where Interactive4D achieves a new state-of-the-art by a large margin. Upon acceptance, we will publicly release the code and models at https://vision.rwth-aachen.de/Interactive4D.
• Abstract（参考訳）: インタラクティブセグメンテーションは、将来のLiDARデータセットのアノテーションプロセスを促進する上で重要な役割を果たす。 既存のアプローチでは、各LiDARスキャンで個々のオブジェクトをシーケンシャルに分割し、シーケンス全体を通してプロセスを繰り返す。 本研究では,複数のLiDARスキャン上で複数のオブジェクトを同時にセグメント化できる対話型4Dセグメンテーションモデルと,LiDARデータの逐次的性質を利用して重畳された連続LiDARスキャン上で複数のオブジェクトを単一イテレーションでセグメント化する対話型4Dセグメンテーションモデルを提案する。 対話的なセグメンテーションを行う際、我々のモデルは時空の体積全体を活用し、より効率的なセグメンテーションを実現する。 4Dボリュームで動作すると、時間とともに一貫したインスタンスIDが直接提供され、アノテーションのトラッキングも簡単になる。 さらに,LiDAR点雲上でのモデルトレーニングを成功させるためには,クリックシミュレーションが重要であることを示す。 この目的のために、我々はLiDARデータの特徴により適したクリックシミュレーション戦略を設計する。 精度と有効性を示すために、複数のLiDARデータセット上でInteractive4Dを評価する。 受け入れ次第、https://vision.rwth-aachen.de/Interactive4D.comでコードとモデルを公開します。

関連論文リスト

• HIMO: A New Benchmark for Full-Body Human Interacting with Multiple Objects [86.86284624825356]
  HIMOは、複数のオブジェクトと相互作用するフルボディの人間のデータセットである。 HIMOは3.3K 4D HOIシーケンスと4.08M 3D HOIフレームを含む。
  論文  参考訳（メタデータ） (2024-07-17T07:47:34Z)
• ADL4D: Towards A Contextually Rich Dataset for 4D Activities of Daily Living [4.221961702292134]
  ADL4Dは、日々の生活活動(ADL)を行う異なる対象のセットで行動する、最大2人の被験者のデータセットである 我々のデータセットは75のシーケンスで構成されており、合計1.1MのRGB-Dフレーム、手とオブジェクトのポーズ、手ごとのきめ細かいアクションアノテーションで構成されています。 マルチビュー・マルチハンド3Dポーズ・アンノベーションのための自動システムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T18:51:52Z)
• 4D-Former: Multimodal 4D Panoptic Segmentation [41.235165076983]
  4D-Former: LiDARと画像モダリティの両方を用いた4Dパノプティクスセグメンテーションの新しい手法を提案する。 我々は、両方のデータモダリティの特徴情報を吸収する簡潔なクエリセットを用いて、セマンティッククラスとオブジェクトをエンコードする。 4D-FormerをnuScenesおよびSemanticKITTIデータセットに適用し、最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-02T18:09:35Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• InsMOS: Instance-Aware Moving Object Segmentation in LiDAR Data [13.196031553445117]
  本稿では,3次元LiDARスキャンにおける移動物体のセグメント化という課題に対処する新しいネットワークを提案する。 提案手法は点雲の列を入力として利用し,それらを4次元ボクセルに定量化する。 我々は,4Dボクセルから運動特徴を抽出し,電流スキャンに注入するために,4Dスパース畳み込みを用いる。
  論文  参考訳（メタデータ） (2023-03-07T14:12:52Z)
• DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention [50.11672196146829]
  サラウンドビュー画像を用いた3次元物体検出は、自動運転にとって必須の課題である。 マルチビュー画像における3次元オブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するトランスフォーマーベースのフレームワークであるDETR4Dを提案する。
  論文  参考訳（メタデータ） (2022-12-15T14:18:47Z)
• 4D-StOP: Panoptic Segmentation of 4D LiDAR using Spatio-temporal Object Proposal Generation and Aggregation [21.95468697806962]
  我々は4DパノプティカルLiDARの課題に取り組むために、4D-StOPと呼ばれる新しいパラダイムを提案する。 4D-StOPは投票に基づく中心予測を用いて提案を生成する。 トラックレットアグリゲーション法は、時空ボリューム全体にわたって映像レベル4Dシーン表現を効果的に生成する。
  論文  参考訳（メタデータ） (2022-09-29T15:22:21Z)
• Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in Driving Scenes [82.4186966781934]
  Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。 Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。 無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-18T03:48:58Z)
• LiDAR-based 4D Panoptic Segmentation via Dynamic Shifting Network [56.71765153629892]
  本稿では,ポイントクラウド領域における効果的な単視分割フレームワークとして機能する動的シフトネットワーク(DS-Net)を提案する。 提案するDS-Netは,両タスクの現在の最先端手法よりも優れた精度を実現する。 DS-Netを4次元パノプティカルLiDARセグメンテーションに拡張し、一列のLiDARフレーム上で時間的に統一されたインスタンスクラスタリングを行う。
  論文  参考訳（メタデータ） (2022-03-14T15:25:42Z)
• 4D-Net for Learned Multi-Modal Alignment [87.58354992455891]
  本稿では,3DポイントクラウドとRGBセンシング情報を利用した3Dオブジェクト検出手法である4D-Netを提案する。 様々な特徴表現や抽象化レベルにまたがる新しい接続学習を行い、また幾何学的制約を観察することで、4D情報を組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-02T16:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。