論文の概要: DifFlow3D: Toward Robust Uncertainty-Aware Scene Flow Estimation with Diffusion Model
- arxiv url: http://arxiv.org/abs/2311.17456v4
- Date: Fri, 10 May 2024 07:13:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 20:27:06.841154
- Title: DifFlow3D: Toward Robust Uncertainty-Aware Scene Flow Estimation with Diffusion Model
- Title（参考訳）: DifFlow3D:拡散モデルによるロバスト不確実性を考慮したシーンフロー推定に向けて
- Authors: Jiuming Liu, Guangming Wang, Weicai Ye, Chaokang Jiang, Jinru Han, Zhe Liu, Guofeng Zhang, Dalong Du, Hesheng Wang,
- Abstract要約: 拡散確率モデルを用いた不確実性を考慮したシーンフロー推定ネットワーク(DifFlow3D)を提案する。
提案手法は,KITTIデータセット上での前例のないミリレベルの精度(EPE3Dで0.0078m)を達成する。
- 参考スコア（独自算出の注目度）: 20.15214479105187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene flow estimation, which aims to predict per-point 3D displacements of dynamic scenes, is a fundamental task in the computer vision field. However, previous works commonly suffer from unreliable correlation caused by locally constrained searching ranges, and struggle with accumulated inaccuracy arising from the coarse-to-fine structure. To alleviate these problems, we propose a novel uncertainty-aware scene flow estimation network (DifFlow3D) with the diffusion probabilistic model. Iterative diffusion-based refinement is designed to enhance the correlation robustness and resilience to challenging cases, e.g. dynamics, noisy inputs, repetitive patterns, etc. To restrain the generation diversity, three key flow-related features are leveraged as conditions in our diffusion model. Furthermore, we also develop an uncertainty estimation module within diffusion to evaluate the reliability of estimated scene flow. Our DifFlow3D achieves state-of-the-art performance, with 24.0% and 29.1% EPE3D reduction respectively on FlyingThings3D and KITTI 2015 datasets. Notably, our method achieves an unprecedented millimeter-level accuracy (0.0078m in EPE3D) on the KITTI dataset. Additionally, our diffusion-based refinement paradigm can be readily integrated as a plug-and-play module into existing scene flow networks, significantly increasing their estimation accuracy. Codes are released at https://github.com/IRMVLab/DifFlow3D.
- Abstract（参考訳）: 動的シーンの点当たりの3次元変位を予測することを目的としたシーンフロー推定は,コンピュータビジョン分野における基本的な課題である。
しかし,従来の研究は,局所的に制約された探索範囲による信頼性の低い相関や,粗い構造から生じる不正確な蓄積に悩まされることが一般的である。
これらの問題を緩和するために,拡散確率モデルを用いた不確実性を考慮したシーンフロー推定ネットワーク(DifFlow3D)を提案する。
反復拡散に基づく改良は、例えば、ダイナミックス、ノイズインプット、反復パターンなどの課題に対する相関堅牢性とレジリエンスを高めるように設計されている。
生成の多様性を抑えるため,拡散モデルにおける3つの主要なフロー関連特徴を条件として利用した。
さらに,推定シーンフローの信頼性を評価するため,拡散中の不確実性推定モジュールも開発した。
我々のDifFlow3Dは、FlyingThings3DとKITTI 2015データセットでそれぞれ24.0%と29.1%のEPE3Dを削減した最先端のパフォーマンスを実現しています。
特に,本手法は,KITTIデータセット上での前例のないミリレベルの精度(EPE3Dで0.0078m)を達成する。
さらに,既存のシーンフローネットワークにプラグイン・アンド・プレイモジュールとして組み込むことができ,その推定精度を大幅に向上させることができる。
コードはhttps://github.com/IRMVLab/DifFlow3Dで公開されている。
関連論文リスト
- Addressing Concept Shift in Online Time Series Forecasting: Detect-then-Adapt [37.98336090671441]
概念 textbfDrift textbfDetection antextbfD textbfAdaptation (D3A)
まずドリフトの概念を検知し、次に急激な適応の検出の後、現在のモデルをドリフトされた概念に積極的に適応する。
これは、トレイン-テストのパフォーマンスの不整合に寄与する重要な要因であるデータ分散ギャップを軽減するのに役立ちます。
論文 参考訳（メタデータ） (2024-03-22T04:44:43Z) - DiffSF: Diffusion Models for Scene Flow Estimation [17.512660491303684]
本稿では,変圧器を用いたシーンフロー推定とデノナイズ拡散モデルを組み合わせたDiffSFを提案する。
拡散過程は, 従来の手法に比べて, 予測の堅牢性を大幅に向上させることを示す。
異なる初期状態で複数回サンプリングすることにより、復調過程は複数の仮説を予測し、出力の不確実性を測定することができる。
論文 参考訳（メタデータ） (2024-03-08T14:06:15Z) - Diffusion-based 3D Object Detection with Random Boxes [58.43022365393569]
既存のアンカーベースの3D検出方法は、アンカーの実証的な設定に依存しており、アルゴリズムはエレガンスを欠いている。
提案するDiff3Detは,検出ボックスを生成対象として考慮し,拡散モデルから3次元オブジェクト検出のための提案生成へ移行する。
推論段階では、モデルは予測結果にランダムボックスのセットを徐々に洗練する。
論文 参考訳（メタデータ） (2023-09-05T08:49:53Z) - DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文 参考訳（メタデータ） (2023-08-11T00:44:46Z) - The Surprising Effectiveness of Diffusion Models for Optical Flow and
Monocular Depth Estimation [42.48819460873482]
拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。
また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
論文 参考訳（メタデータ） (2023-06-02T21:26:20Z) - DistractFlow: Improving Optical Flow Estimation via Realistic
Distractions and Pseudo-Labeling [49.46842536813477]
本稿では,光フロー推定モデルのトレーニングのための新しいデータ拡張手法であるDistractFlowを提案する。
2つのフレームのうちの1つを、類似したドメインを描写したイントラクタイメージと組み合わせることで、自然の物体やシーンと相反する視覚的摂動を誘発することができる。
私たちのアプローチでは、追加のアノテーションを必要とせずに、利用可能なトレーニングペアの数を大幅に増やすことができます。
論文 参考訳（メタデータ） (2023-03-24T15:42:54Z) - Uncertainty quantification and inverse modeling for subsurface flow in
3D heterogeneous formations using a theory-guided convolutional
encoder-decoder network [5.018057056965207]
複数の垂直生産井を有する動的3次元地下単相流問題に対する代理モデルを構築した。
代理モデルは任意のタイミングで全体の形成を効率的に推算する。
ウェル生産率またはボトムホール圧力はピースマンの公式に基づいて決定できる。
論文 参考訳（メタデータ） (2021-11-14T10:11:46Z) - PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。
我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。
提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
論文 参考訳（メタデータ） (2021-09-28T17:56:41Z) - Consistency Guided Scene Flow Estimation [159.24395181068218]
CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。
提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。
最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
論文 参考訳（メタデータ） (2020-06-19T17:28:07Z) - SoftFlow: Probabilistic Framework for Normalizing Flow on Manifolds [15.476426879806134]
フローベース生成モデルは、同じ次元の2つのランダム変数間の可逆変換からなる。
本論文では,多様体上の正規化フローを学習するための確率的フレームワークであるSoftFlowを提案する。
実験により,SoftFlowは多様体データの固有構造を捕捉し,高品質なサンプルを生成することができることを示した。
提案手法を3次元点雲に適用することにより,フローベースモデルにおける細い構造形成の難しさを軽減する。
論文 参考訳（メタデータ） (2020-06-08T13:56:07Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。