論文の概要: Multi-Body Neural Scene Flow

• arxiv url: http://arxiv.org/abs/2310.10301v1
• Date: Mon, 16 Oct 2023 11:37:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 14:59:51.516682
• Title: Multi-Body Neural Scene Flow
• Title（参考訳）: マルチボディニューラルシーンフロー
• Authors: Kavisha Vidanapathirana, Shin-Fang Chng, Xueqian Li, Simon Lucey
• Abstract要約: シーンフローのテスト時間最適化は、単純さ、データセットバイアスの欠如、最先端のパフォーマンスのために人気を集めている。 本研究では, 剛体のSE(3)$パラメータを制約する, 煩雑で不安定な戦略を使わずに, 多体剛性を実現することができることを示す。 実世界のデータセットに関する広範な実験を行い、我々の手法が3次元シーンフローにおける最先端の4次元軌道予測と長期的ポイントワイドの4次元軌道予測より優れていることを実証した。
• 参考スコア（独自算出の注目度）: 37.31530794244607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The test-time optimization of scene flow - using a coordinate network as a neural prior - has gained popularity due to its simplicity, lack of dataset bias, and state-of-the-art performance. We observe, however, that although coordinate networks capture general motions by implicitly regularizing the scene flow predictions to be spatially smooth, the neural prior by itself is unable to identify the underlying multi-body rigid motions present in real-world data. To address this, we show that multi-body rigidity can be achieved without the cumbersome and brittle strategy of constraining the $SE(3)$ parameters of each rigid body as done in previous works. This is achieved by regularizing the scene flow optimization to encourage isometry in flow predictions for rigid bodies. This strategy enables multi-body rigidity in scene flow while maintaining a continuous flow field, hence allowing dense long-term scene flow integration across a sequence of point clouds. We conduct extensive experiments on real-world datasets and demonstrate that our approach outperforms the state-of-the-art in 3D scene flow and long-term point-wise 4D trajectory prediction. The code is available at: \href{https://github.com/kavisha725/MBNSF}{https://github.com/kavisha725/MBNSF}.
• Abstract（参考訳）: ニューラルネットワークをニューラルネットワークとして使用したシーンフローのテスト時間最適化は、単純さ、データセットバイアスの欠如、最先端のパフォーマンスなどによって人気を集めている。 しかし, 座標ネットワークは, 空間的平滑なシーンフロー予測を暗黙的に正則化することにより, 一般運動を捉えるが, 先行する神経は実世界データに存在する多体剛性運動を識別できない。 これを解決するために, 従来の研究と同様, 剛体のSE(3)$パラメータを制約する, 煩雑で不安定な戦略を使わずに, 多体剛性を実現できることを示す。 これは、剛体の流れ予測における等長性を促進するためにシーンフロー最適化を定式化することで達成される。 この戦略により、連続した流れ場を維持しながら、シーンフローの多体剛性が可能となり、点雲の列をまたいだ密集した長期のシーンフロー統合が可能になる。 我々は,実世界のデータセットに関する広範囲な実験を行い,我々のアプローチが3次元シーンフローと長期的ポイントワイズ4次元軌道予測の最先端を上回っていることを実証する。 コードは \href{https://github.com/kavisha725/mbnsf}{https://github.com/kavisha725/mbnsf} で入手できる。

関連論文リスト

• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• Neural Eulerian Scene Flow Fields [59.57980592109722]
  EulerFlowは、複数のドメインをチューニングすることなく、最初から動作します。 長期間の地平線上での推定ODEを解くことで、創発的な3次元点追跡挙動を示す。 2024年のArgoverse 2 Scene Flow Challengeでは、すべての先行技術より優れています。
  論文  参考訳（メタデータ） (2024-10-02T20:56:45Z)
• STARFlow: Spatial Temporal Feature Re-embedding with Attentive Learning for Real-world Scene Flow [5.476991379461233]
  両ユークリッド空間における全点対に一致する大域的注意流埋め込みを提案する。 我々は、新しいドメイン適応損失を利用して、合成から実世界への動き推論のギャップを埋める。 提案手法は,実世界のLiDARスキャンデータセットにおいて特に顕著な結果を得て,各種データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-11T04:56:10Z)
• SCOOP: Self-Supervised Correspondence and Optimization-Based Scene Flow [25.577386156273256]
  シーンフロー推定は、連続した観察からシーンの3次元運動を見つけることを目的として、コンピュータビジョンにおける長年の課題である。 そこで本研究では,少量のデータから学習可能なシーンフロー推定手法であるSCOOPについて紹介する。
  論文  参考訳（メタデータ） (2022-11-25T10:52:02Z)
• Self-SuperFlow: Self-supervised Scene Flow Prediction in Stereo Sequences [12.650574326251023]
  本稿では,シーンフロー予測のための自己監督型損失の拡張について検討する。 KITTIのシーンフローベンチマークでは,本手法は同一ネットワークの教師付き事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-30T13:55:17Z)
• Neural Scene Flow Prior [30.878829330230797]
  ディープラーニング革命以前、多くの知覚アルゴリズムは実行時最適化と強力な事前/正規化ペナルティに基づいていた。 本稿では,実行時最適化と強い正規化に大きく依存するシーンフロー問題を再考する。 ここでの中心的なイノベーションは、ニューラルネットワークのアーキテクチャを新しいタイプの暗黙正則化器として使用する、前もってニューラルネットワークのシーンフローを含めることである。
  論文  参考訳（メタデータ） (2021-11-01T20:44:12Z)
• SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
  点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。 本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。 学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-10T15:16:14Z)
• Weakly Supervised Learning of Rigid 3D Scene Flow [81.37165332656612]
  本研究では,剛体体として動くエージェント群によって説明できる3次元シーンを多用したデータ駆動シーンフロー推定アルゴリズムを提案する。 4種類の自律運転データセットにおいて,提案手法の有効性と一般化能力を示す。
  論文  参考訳（メタデータ） (2021-02-17T18:58:02Z)
• Occlusion Guided Scene Flow Estimation on 3D Point Clouds [4.518012967046983]
  3次元シーンフロー推定は、環境に与えられた深度や範囲のセンサーを知覚する上で欠かせないツールである。 本稿では,フレーム間のフローとオクルージョンの両方の学習を密に結合する,OGSF-Netと呼ばれる新しいシーンフローアーキテクチャを提案する。 これらの共生が組み合わさって宇宙の流れをより正確に予測できる。
  論文  参考訳（メタデータ） (2020-11-30T15:22:03Z)
• FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation [87.74617110803189]
  シーンフローとして知られるシーン内の点の3次元運動を推定することは、コンピュータビジョンにおける中核的な問題である。 本稿では,シーンフローの予測を洗練するための反復的アライメント手順の1ステップを学習する再帰的アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-19T23:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。