論文の概要: ZeroFlow: Scalable Scene Flow via Distillation

• arxiv url: http://arxiv.org/abs/2305.10424v8
• Date: Thu, 14 Mar 2024 16:38:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 03:12:58.530684
• Title: ZeroFlow: Scalable Scene Flow via Distillation
• Title（参考訳）: ZeroFlow: 蒸留によるスケーラブルなシーンフロー
• Authors: Kyle Vedder, Neehar Peri, Nathaniel Chodosh, Ishan Khatri, Eric Eaton, Dinesh Jayaraman, Yang Liu, Deva Ramanan, James Hays,
• Abstract要約: シーンフロー推定は、時間的に連続する点雲間の3次元運動場を記述するタスクである。 State-of-the-artメソッドは、強い事前とテスト時の最適化技術を使用するが、フルサイズの点雲を処理するには数秒の順序を必要とする。 本研究では,ラベルなし最適化手法を用いて擬似ラベルを生成し,フィードフォワードモデルを監督する簡易でスケーラブルな蒸留フレームワークであるScene Flow via Distillationを提案する。
• 参考スコア（独自算出の注目度）: 66.70820145266029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scene flow estimation is the task of describing the 3D motion field between temporally successive point clouds. State-of-the-art methods use strong priors and test-time optimization techniques, but require on the order of tens of seconds to process full-size point clouds, making them unusable as computer vision primitives for real-time applications such as open world object detection. Feedforward methods are considerably faster, running on the order of tens to hundreds of milliseconds for full-size point clouds, but require expensive human supervision. To address both limitations, we propose Scene Flow via Distillation, a simple, scalable distillation framework that uses a label-free optimization method to produce pseudo-labels to supervise a feedforward model. Our instantiation of this framework, ZeroFlow, achieves state-of-the-art performance on the Argoverse 2 Self-Supervised Scene Flow Challenge while using zero human labels by simply training on large-scale, diverse unlabeled data. At test-time, ZeroFlow is over 1000x faster than label-free state-of-the-art optimization-based methods on full-size point clouds (34 FPS vs 0.028 FPS) and over 1000x cheaper to train on unlabeled data compared to the cost of human annotation (\$394 vs ~\$750,000). To facilitate further research, we release our code, trained model weights, and high quality pseudo-labels for the Argoverse 2 and Waymo Open datasets at https://vedder.io/zeroflow.html
• Abstract（参考訳）: シーンフロー推定は、時間的に連続する点雲間の3次元運動場を記述するタスクである。 State-of-the-artメソッドは強力な事前処理とテストタイム最適化技術を使用するが、フルサイズのポイントクラウドを処理するには数秒の順序を必要とするため、オープンワールドオブジェクト検出などのリアルタイムアプリケーションではコンピュータビジョンプリミティブとして使用できない。 フィードフォワード法はかなり高速で、フルサイズの点雲では数十から数百ミリ秒の順序で実行されるが、高価な人間の監督を必要とする。 両制約に対処するために,ラベルなし最適化手法を用いてフィードフォワードモデルを監督するために擬似ラベルを生成する,シンプルでスケーラブルな蒸留フレームワークであるDistillationによるScene Flowを提案する。 このフレームワークのインスタンス化であるZeroFlowは、大規模で多様なラベル付きデータをトレーニングすることで、ゼロのラベルを使用しながら、Argoverse 2 Self-Supervised Scene Flow Challengeにおける最先端のパフォーマンスを実現します。 テスト時には、ZeroFlowは、フルサイズのポイントクラウド(34 FPS vs 0.028 FPS)上で、ラベルなしの最先端の最適化ベースのメソッドよりも1000倍高速で、人間のアノテーションのコスト(394対~750,000ドル)に比べて、ラベル付きデータのトレーニングに1000倍以上のコストがかかる。 さらなる研究を容易にするため、私たちはコード、トレーニングされたモデルウェイト、Argoverse 2とWaymo Openデータセットの高品質な擬似ラベルをhttps://vedder.io/zeroflow.comでリリースしています。

関連論文リスト

• Neural Eulerian Scene Flow Fields [59.57980592109722]
  EulerFlowは、複数のドメインをチューニングすることなく、最初から動作します。 長期間の地平線上での推定ODEを解くことで、創発的な3次元点追跡挙動を示す。 2024年のArgoverse 2 Scene Flow Challengeでは、すべての先行技術より優れています。
  論文  参考訳（メタデータ） (2024-10-02T20:56:45Z)
• 3DSFLabelling: Boosting 3D Scene Flow Estimation by Pseudo Auto-labelling [21.726386822643995]
  本稿では,現実のLiDAR点雲に対して,多数の3次元シーンフロー擬似ラベルを生成するための新しい手法を提案する。 具体的には、自律走行シナリオにおける物体レベルの剛体運動をシミュレートするために、剛体運動の仮定を用いる。 拡張運動パラメータに基づいてターゲット点雲を完全合成することにより,実シナリオと高度に整合した点雲内に多数の3次元シーンフローラベルを容易に取得できる。
  論文  参考訳（メタデータ） (2024-02-28T08:12:31Z)
• Dense Optical Tracking: Connecting the Dots [82.79642869586587]
  DOTは、ビデオにおけるポイントトラッキングの問題を解決するための、新しくてシンプルで効率的な方法である。 OmniMotionのような高度な"ユニバーサルトラッカー"を上回り、CoTrackerのような最良のポイントトラッキングアルゴリズムと同等か、あるいはそれ以上の精度で、DOTが現在の光フロー技術よりもはるかに正確であることを示す。
  論文  参考訳（メタデータ） (2023-12-01T18:59:59Z)
• InstaFlow: One Step is Enough for High-Quality Diffusion-Based Text-to-Image Generation [33.70116170511312]
  安定拡散(SD)を超高速1ステップモデルに変換するための新しいテキスト条件付きパイプラインを提案する。 我々は、SDレベルの画質を持つ最初の1ステップ拡散ベースのテキスト・ツー・イメージ・ジェネレータを作成し、MS COCO 2017-5kで23.3ドルのFIDを達成した。
  論文  参考訳（メタデータ） (2023-09-12T16:42:09Z)
• PointFlowHop: Green and Interpretable Scene Flow Estimation from Consecutive Point Clouds [49.7285297470392]
  本研究では,PointFlowHopと呼ばれる3次元シーンフローの効率的な推定法を提案する。 ポイントフローホップは2つの連続する点雲を取り、第1点雲の各点の3次元フローベクトルを決定する。 シーンフロー推定タスクを,エゴモーション補償,オブジェクトアソシエーション,オブジェクトワイドモーション推定など,一連のサブタスクに分解する。
  論文  参考訳（メタデータ） (2023-02-27T23:06:01Z)
• RCP: Recurrent Closest Point for Scene Flow Estimation on 3D Point Clouds [44.034836961967144]
  シーンフローや点雲の登録を含む3次元運動推定が注目されている。 最近の手法では、正確な3次元フローを推定するためのコストボリュームを構築するために、ディープニューラルネットワークを使用している。 問題を2つのインターレースステージに分解し、第1段階では3次元フローをポイントワイズに最適化し、第2段階ではリカレントネットワークでグローバルに正規化する。
  論文  参考訳（メタデータ） (2022-05-23T04:04:30Z)
• Learning Scene Flow in 3D Point Clouds with Noisy Pseudo Labels [71.11151016581806]
  そこで本研究では,3次元の3次元動きを点雲からキャプチャするシーンフロー手法を提案する。 提案手法は,最先端の自己教師型アプローチより優れるだけでなく,正確な接地構造を用いた教師型アプローチよりも優れる。
  論文  参考訳（メタデータ） (2022-03-23T18:20:03Z)
• AutoFlow: Learning a Better Training Set for Optical Flow [62.40293188964933]
  AutoFlowは、光学フローのトレーニングデータをレンダリングする手法である。 AutoFlowはPWC-NetとRAFTの両方の事前トレーニングにおいて最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-04-29T17:55:23Z)
• Scene Flow from Point Clouds with or without Learning [47.03163552693887]
  シーンフロー(Scene flow)は、シーンの3次元運動場である。 現在の学習ベースのアプローチは、ポイントクラウドから直接シーンフローを推定することを目指している。 本稿では,点雲からシーンフローを復元する,シンプルで解釈可能な目的関数を提案する。
  論文  参考訳（メタデータ） (2020-10-31T17:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。