論文の概要: Complete-to-Partial 4D Distillation for Self-Supervised Point Cloud Sequence Representation Learning

• arxiv url: http://arxiv.org/abs/2212.05330v2
• Date: Tue, 13 Dec 2022 03:02:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 14:39:33.561225
• Title: Complete-to-Partial 4D Distillation for Self-Supervised Point Cloud Sequence Representation Learning
• Title（参考訳）: 自己教師付き点群列表現学習のための完全粒子間4次元蒸留
• Authors: Zhuoyang Zhang, Yuhao Dong, Yunze Liu and Li Yi
• Abstract要約: 本稿では, 完全-部分4次元蒸留法という, 4次元自己教師型事前学習法を提案する。 我々の鍵となる考え方は、4次元自己教師型表現学習を教師主導の知識蒸留フレームワークとして定式化することである。 実験により、この手法は、幅広い4Dポイントクラウドシークエンス理解タスクにおいて、以前の事前学習アプローチよりも大幅に優れていることが示された。
• 参考スコア（独自算出の注目度）: 14.033085586047799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on 4D point cloud sequences has attracted a lot of attention. However, obtaining exhaustively labeled 4D datasets is often very expensive and laborious, so it is especially important to investigate how to utilize raw unlabeled data. However, most existing self-supervised point cloud representation learning methods only consider geometry from a static snapshot omitting the fact that sequential observations of dynamic scenes could reveal more comprehensive geometric details. And the video representation learning frameworks mostly model motion as image space flows, let alone being 3D-geometric-aware. To overcome such issues, this paper proposes a new 4D self-supervised pre-training method called Complete-to-Partial 4D Distillation. Our key idea is to formulate 4D self-supervised representation learning as a teacher-student knowledge distillation framework and let the student learn useful 4D representations with the guidance of the teacher. Experiments show that this approach significantly outperforms previous pre-training approaches on a wide range of 4D point cloud sequence understanding tasks including indoor and outdoor scenarios.
• Abstract（参考訳）: 4Dポイントクラウドシーケンスに関する最近の研究は、多くの注目を集めている。 しかし, ラベル付けされた4Dデータセットの取得は非常に高価で手間がかかるため, 生のラベル付きデータの利用方法を検討することが特に重要である。 しかし、既存のセルフ教師付きポイントクラウド表現学習手法は、動的シーンの逐次観測によりより包括的な幾何学的詳細が明らかになるという事実を省略して、静的スナップショットからの幾何学のみを考慮している。 そして、ビデオ表現学習フレームワークは、主に画像空間の流れとして動きをモデル化する。 そこで本研究では, 完全粒子間4D蒸留法という, 自己制御型4次元事前学習法を提案する。 本研究の目的は4次元自己教師表現学習を教師の知識蒸留フレームワークとして定式化し,教師の指導により有用な4次元表現を学生に学習させることである。 実験により,本手法は,屋内シナリオや屋外シナリオを含む広範囲な4Dポイントクラウドシーケンス理解タスクにおいて,従来の事前学習手法よりも大幅に優れていた。

関連論文リスト

• Comp4D: LLM-Guided Compositional 4D Scene Generation [65.5810466788355]
  合成 4D 生成のための新しいフレームワーク Comp4D について述べる。 シーン全体の特異な4D表現を生成する従来の方法とは異なり、Comp4Dはシーン内の各4Dオブジェクトを革新的に別々に構築する。 提案手法は, 予め定義された軌道で導かれる合成スコア蒸留技術を用いている。
  論文  参考訳（メタデータ） (2024-03-25T17:55:52Z)
• 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
  この4DGenは、4Dコンテンツ作成のための新しいフレームワークである。 静的な3Dアセットとモノクロビデオシーケンスを4Dコンテンツ構築のキーコンポーネントとして同定する。 我々のパイプラインは条件付き4D生成を容易にし、ユーザーは幾何学(3Dアセット)と運動(眼球ビデオ)を指定できる。
  論文  参考訳（メタデータ） (2023-12-28T18:53:39Z)
• X4D-SceneFormer: Enhanced Scene Understanding on 4D Point Cloud Videos through Cross-modal Knowledge Transfer [28.719098240737605]
  我々はX4D-SceneFormerと呼ばれる新しいクロスモーダルな知識伝達フレームワークを提案する。 時間的関係マイニングを備えたTransformerアーキテクチャを用いて、RGBシーケンスからテクスチャ先行を転送することで、4Dシーン理解を強化する。 様々な4Dポイントクラウドビデオ理解タスクにおいて,我々のフレームワークの優れた性能を示す実験を行った。
  論文  参考訳（メタデータ） (2023-12-12T15:48:12Z)
• NSM4D: Neural Scene Model Based Online 4D Point Cloud Sequence Understanding [20.79861588128133]
  NSM4Dと呼ばれる汎用的なオンライン4D知覚パラダイムを導入する。 NSM4Dは、既存の4Dバックボーンに適応可能なプラグアンドプレイ戦略として機能する。 屋内および屋外環境における各種オンライン知覚ベンチマークにおいて,顕著な改善が示された。
  論文  参考訳（メタデータ） (2023-10-12T13:42:49Z)
• Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from a Single Image [59.18564636990079]
  本研究では,1枚の画像のみから長期ダイナミック映像を合成する問題について検討する。 既存の方法は、一貫性のない永遠の視点を幻覚させるか、長いカメラの軌跡に苦しむかのいずれかである。 一つの画像から一貫した長期動画像を生成する新しい方法であるMake-It-4Dを提案する。
  論文  参考訳（メタデータ） (2023-08-20T12:53:50Z)
• 4D-Net for Learned Multi-Modal Alignment [87.58354992455891]
  本稿では,3DポイントクラウドとRGBセンシング情報を利用した3Dオブジェクト検出手法である4D-Netを提案する。 様々な特徴表現や抽象化レベルにまたがる新しい接続学習を行い、また幾何学的制約を観察することで、4D情報を組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-02T16:35:00Z)
• Auto4D: Learning to Label 4D Objects from Sequential Point Clouds [89.30951657004408]
  LiDAR点群から3次元空間に正確な物体軌道を生成する自動パイプラインを提案する。 鍵となるアイデアは、4Dオブジェクトラベルを2つの部分に分解することです。リジッドオブジェクトに対して時間を通して固定される3Dのオブジェクトサイズと、オブジェクトのポーズの進化を記述するモーションパスです。 安価だがノイズの多い入力を想定し,オブジェクトサイズを再推定し,動作経路を平滑化することにより,高品質な4dラベルを生成する。
  論文  参考訳（メタデータ） (2021-01-17T04:23:05Z)
• 3D Registration for Self-Occluded Objects in Context [66.41922513553367]
  このシナリオを効果的に処理できる最初のディープラーニングフレームワークを紹介します。 提案手法はインスタンスセグメンテーションモジュールとポーズ推定モジュールから構成される。 これにより、高価な反復手順を必要とせず、ワンショットで3D登録を行うことができます。
  論文  参考訳（メタデータ） (2020-11-23T08:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。