論文の概要: Self-Supervised Multi-Frame Neural Scene Flow
- arxiv url: http://arxiv.org/abs/2403.16116v1
- Date: Sun, 24 Mar 2024 12:15:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 17:25:57.821321
- Title: Self-Supervised Multi-Frame Neural Scene Flow
- Title(参考訳): 自己監督型マルチフレームニューラルシーンフロー
- Authors: Dongrui Liu, Daqi Liu, Xueqian Li, Sihao Lin, Hongwei xie, Bing Wang, Xiaojun Chang, Lei Chu,
- Abstract要約: 本稿では,その一般化能力の理論的評価とともに,複数フレームのクラウドシーンフロー推定を簡便かつ効果的に行う方法を提案する。
解析により,提案手法は限定的な一般化誤差を保ち,シーンフロー最適化プロセスに複数のフレームを追加することは,その一般化可能性から逸脱しないことが示唆された。
- 参考スコア(独自算出の注目度): 46.89574953830576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Scene Flow Prior (NSFP) and Fast Neural Scene Flow (FNSF) have shown remarkable adaptability in the context of large out-of-distribution autonomous driving. Despite their success, the underlying reasons for their astonishing generalization capabilities remain unclear. Our research addresses this gap by examining the generalization capabilities of NSFP through the lens of uniform stability, revealing that its performance is inversely proportional to the number of input point clouds. This finding sheds light on NSFP's effectiveness in handling large-scale point cloud scene flow estimation tasks. Motivated by such theoretical insights, we further explore the improvement of scene flow estimation by leveraging historical point clouds across multiple frames, which inherently increases the number of point clouds. Consequently, we propose a simple and effective method for multi-frame point cloud scene flow estimation, along with a theoretical evaluation of its generalization abilities. Our analysis confirms that the proposed method maintains a limited generalization error, suggesting that adding multiple frames to the scene flow optimization process does not detract from its generalizability. Extensive experimental results on large-scale autonomous driving Waymo Open and Argoverse lidar datasets demonstrate that the proposed method achieves state-of-the-art performance.
- Abstract(参考訳): ニューラル・シーン・フロー・プライオリ(NSFP)とファスト・ニューラル・シーン・フロー(FNSF)は、大きなアウト・オブ・ディストリビューション・自律運転の文脈において顕著な適応性を示した。
彼らの成功にもかかわらず、その驚くべき一般化能力の根底にある理由はいまだ不明である。
本研究は,NSFPの均一安定レンズによる一般化能力について検討し,その性能が入力点雲の数に逆比例していることを明らかにする。
この発見は、大規模クラウドシーンフロー推定タスクの処理におけるNSFPの有効性に光を当てている。
このような理論的な知見により,複数のフレームにまたがる歴史的点雲を利用して,自然に点雲の数を増やすことにより,シーンフロー推定の改善について検討する。
そこで本研究では,その一般化能力の理論的評価とともに,複数フレームのクラウドシーンフロー推定を簡便かつ効果的に行う方法を提案する。
解析により,提案手法は限定的な一般化誤差を保ち,シーンフロー最適化プロセスに複数のフレームを追加することは,その一般化可能性から逸脱しないことが示唆された。
大規模自動運転におけるWaymo OpenとArgoverse lidarデータセットの大規模な実験結果から,提案手法が最先端性能を実現することを示す。
関連論文リスト
- FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。
私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
論文 参考訳(メタデータ) (2024-06-01T17:29:29Z) - Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。
既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。
本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
論文 参考訳(メタデータ) (2024-03-31T17:18:57Z) - Fast Kernel Scene Flow [44.28000710831124]
効率的なライダーシーンフロー推定における最先端性能を示す新しい位置符号化型カーネルを提案する。
提案手法の重要な特徴は,高密度ライダーデータ(8k-144kポイント)によるリアルタイムに近い性能であり,ロボット工学や自律走行シナリオにおける様々な実践的応用を可能にする。
論文 参考訳(メタデータ) (2024-03-09T12:24:49Z) - OptFlow: Fast Optimization-based Scene Flow Estimation without
Supervision [6.173968909465726]
高速な最適化に基づくシーンフロー推定手法であるOpsFlowを提案する。
人気の高い自動運転ベンチマークにおけるシーンフロー推定のための最先端性能を実現する。
論文 参考訳(メタデータ) (2024-01-04T21:47:56Z) - EMR-MSF: Self-Supervised Recurrent Monocular Scene Flow Exploiting
Ego-Motion Rigidity [13.02735046166494]
自己監督型単分子シーンフロー推定は、単純で経済的なセンサーの設置に注目が集まっている。
本稿では,教師あり学習の範囲内でのネットワークアーキテクチャ設計の利点を活かして,EMR-MSFという優れたモデルを提案する。
KITTIのシーンフローベンチマークでは,最先端の自己監督単分子法のSF-all測定値が44%向上した。
論文 参考訳(メタデータ) (2023-09-04T00:30:06Z) - Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。
自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
論文 参考訳(メタデータ) (2021-05-05T17:49:55Z) - Unsupervised Motion Representation Enhanced Network for Action
Recognition [4.42249337449125]
連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。
効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。
UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
論文 参考訳(メタデータ) (2021-03-05T04:14:32Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳(メタデータ) (2020-11-25T14:00:18Z) - A Deep Temporal Fusion Framework for Scene Flow Using a Learnable Motion
Model and Occlusions [17.66624674542256]
複数フレーム構成におけるシーンフロー推定の時間的融合のための新しいデータ駆動手法を提案する。
第2のステップでは、ニューラルネットワークが共通の参照フレームから双方向のシーンフロー推定値を合成し、洗練された推定値を生成する。
このようにして、本手法は、複数のシーンフロー推定器に対して高速なマルチフレーム拡張を提供し、基礎となるデュアルフレームアプローチよりも優れている。
論文 参考訳(メタデータ) (2020-11-03T10:14:11Z) - End-to-end Learning for Inter-Vehicle Distance and Relative Velocity
Estimation in ADAS with a Monocular Camera [81.66569124029313]
本稿では,ディープニューラルネットワークのエンドツーエンドトレーニングに基づくカメラによる車間距離と相対速度推定手法を提案する。
提案手法の重要な特徴は,2つの時間的単眼フレームによって提供される複数の視覚的手がかりの統合である。
また,移動場における視線歪みの影響を緩和する車両中心サンプリング機構を提案する。
論文 参考訳(メタデータ) (2020-06-07T08:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。