論文の概要: DifFlow3D: Toward Robust Uncertainty-Aware Scene Flow Estimation with Iterative Diffusion-Based Refinement
- arxiv url: http://arxiv.org/abs/2311.17456v3
- Date: Wed, 27 Mar 2024 05:22:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 22:33:12.719926
- Title: DifFlow3D: Toward Robust Uncertainty-Aware Scene Flow Estimation with Iterative Diffusion-Based Refinement
- Title（参考訳）: DifFlow3D:反復拡散に基づくリファインメントによるロバスト不確実性を考慮したシーンフロー推定
- Authors: Jiuming Liu, Guangming Wang, Weicai Ye, Chaokang Jiang, Jinru Han, Zhe Liu, Guofeng Zhang, Dalong Du, Hesheng Wang,
- Abstract要約: 拡散確率モデルを用いた不確実性を考慮したシーンフロー推定ネットワーク(DifFlow3D)を提案する。
提案手法は,KITTIデータセット上での前例のないミリレベルの精度(EPE3Dで0.0078m)を達成する。
- 参考スコア（独自算出の注目度）: 20.15214479105187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene flow estimation, which aims to predict per-point 3D displacements of dynamic scenes, is a fundamental task in the computer vision field. However, previous works commonly suffer from unreliable correlation caused by locally constrained searching ranges, and struggle with accumulated inaccuracy arising from the coarse-to-fine structure. To alleviate these problems, we propose a novel uncertainty-aware scene flow estimation network (DifFlow3D) with the diffusion probabilistic model. Iterative diffusion-based refinement is designed to enhance the correlation robustness and resilience to challenging cases, e.g. dynamics, noisy inputs, repetitive patterns, etc. To restrain the generation diversity, three key flow-related features are leveraged as conditions in our diffusion model. Furthermore, we also develop an uncertainty estimation module within diffusion to evaluate the reliability of estimated scene flow. Our DifFlow3D achieves state-of-the-art performance, with 24.0% and 29.1% EPE3D reduction respectively on FlyingThings3D and KITTI 2015 datasets. Notably, our method achieves an unprecedented millimeter-level accuracy (0.0078m in EPE3D) on the KITTI dataset. Additionally, our diffusion-based refinement paradigm can be readily integrated as a plug-and-play module into existing scene flow networks, significantly increasing their estimation accuracy. Codes are released at https://github.com/IRMVLab/DifFlow3D.
- Abstract（参考訳）: 動的シーンの点当たりの3次元変位を予測することを目的としたシーンフロー推定は,コンピュータビジョン分野における基本的な課題である。
しかし,従来の研究は,局所的に制約された探索範囲による信頼性の低い相関や,粗い構造から生じる不正確な蓄積に悩まされることが一般的である。
これらの問題を緩和するために,拡散確率モデルを用いた不確実性を考慮したシーンフロー推定ネットワーク(DifFlow3D)を提案する。
反復拡散に基づく改良は、例えば、ダイナミックス、ノイズインプット、反復パターンなどの課題に対する相関堅牢性とレジリエンスを高めるように設計されている。
生成の多様性を抑えるため,拡散モデルにおける3つの主要なフロー関連特徴を条件として利用した。
さらに,推定シーンフローの信頼性を評価するため,拡散中の不確実性推定モジュールも開発した。
我々のDifFlow3Dは、FlyingThings3DとKITTI 2015データセットでそれぞれ24.0%と29.1%のEPE3Dを削減した最先端のパフォーマンスを実現しています。
特に,本手法は,KITTIデータセット上での前例のないミリレベルの精度(EPE3Dで0.0078m)を達成する。
さらに,既存のシーンフローネットワークにプラグイン・アンド・プレイモジュールとして組み込むことができ,その推定精度を大幅に向上させることができる。
コードはhttps://github.com/IRMVLab/DifFlow3Dで公開されている。
関連論文リスト
- ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。
本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。
私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
論文 参考訳（メタデータ） (2024-11-12T11:32:56Z) - OccLoff: Learning Optimized Feature Fusion for 3D Occupancy Prediction [5.285847977231642]
3Dセマンティック占有予測は、自動運転の安全性を確保するために不可欠である。
既存のフュージョンベースの占有法では、画像の特徴に対して2次元から3次元のビュー変換を行うのが一般的である。
OccLoffは3次元占有予測のためにFeature Fusionを最適化するフレームワークである。
論文 参考訳（メタデータ） (2024-11-06T06:34:27Z) - Digging into contrastive learning for robust depth estimation with diffusion models [55.62276027922499]
そこで我々はD4RDと呼ばれる新しい頑健な深度推定法を提案する。
複雑な環境での性能劣化を軽減するために、拡散モデルに適した独自のコントラスト学習モードを備えている。
実験では、D4RDは合成汚職データセットや現実世界の気象条件に関する最先端のソリューションを超越している。
論文 参考訳（メタデータ） (2024-04-15T14:29:47Z) - Addressing Concept Shift in Online Time Series Forecasting: Detect-then-Adapt [37.98336090671441]
概念 textbfDrift textbfDetection antextbfD textbfAdaptation (D3A)
まずドリフトの概念を検知し、次に急激な適応の検出の後、現在のモデルをドリフトされた概念に積極的に適応する。
これは、トレイン-テストのパフォーマンスの不整合に寄与する重要な要因であるデータ分散ギャップを軽減するのに役立ちます。
論文 参考訳（メタデータ） (2024-03-22T04:44:43Z) - DiffSF: Diffusion Models for Scene Flow Estimation [17.512660491303684]
本稿では,変圧器を用いたシーンフロー推定とデノナイズ拡散モデルを組み合わせたDiffSFを提案する。
拡散過程は, 従来の手法に比べて, 予測の堅牢性を大幅に向上させることを示す。
異なる初期状態で複数回サンプリングすることにより、復調過程は複数の仮説を予測し、出力の不確実性を測定することができる。
論文 参考訳（メタデータ） (2024-03-08T14:06:15Z) - DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文 参考訳（メタデータ） (2023-08-11T00:44:46Z) - The Surprising Effectiveness of Diffusion Models for Optical Flow and
Monocular Depth Estimation [42.48819460873482]
拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。
また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
論文 参考訳（メタデータ） (2023-06-02T21:26:20Z) - PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。
我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。
提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
論文 参考訳（メタデータ） (2021-09-28T17:56:41Z) - Consistency Guided Scene Flow Estimation [159.24395181068218]
CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。
提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。
最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
論文 参考訳（メタデータ） (2020-06-19T17:28:07Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。