論文の概要: DifFlow3D: Toward Robust Uncertainty-Aware Scene Flow Estimation with
Iterative Diffusion-Based Refinement
- arxiv url: http://arxiv.org/abs/2311.17456v2
- Date: Tue, 27 Feb 2024 02:05:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 21:36:34.953425
- Title: DifFlow3D: Toward Robust Uncertainty-Aware Scene Flow Estimation with
Iterative Diffusion-Based Refinement
- Title(参考訳): DifFlow3D:反復拡散による不確実性を考慮したシーンフロー推定に向けて
- Authors: Jiuming Liu, Guangming Wang, Weicai Ye, Chaokang Jiang, Jinru Han, Zhe
Liu, Guofeng Zhang, Dalong Du, Hesheng Wang
- Abstract要約: 拡散確率モデルを用いた不確実性を考慮したシーンフロー推定ネットワーク(DifFlow3D)を提案する。
提案手法は,KITTIデータセット上での前例のないミリレベルの精度(EPE3Dで0.0089m)を達成する。
- 参考スコア(独自算出の注目度): 20.909983985165862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene flow estimation, which aims to predict per-point 3D displacements of
dynamic scenes, is a fundamental task in the computer vision field. However,
previous works commonly suffer from unreliable correlation caused by locally
constrained searching ranges, and struggle with accumulated inaccuracy arising
from the coarse-to-fine structure. To alleviate these problems, we propose a
novel uncertainty-aware scene flow estimation network (DifFlow3D) with the
diffusion probabilistic model. Iterative diffusion-based refinement is designed
to enhance the correlation robustness and resilience to challenging cases,
e.g., dynamics, noisy inputs, repetitive patterns, etc. To restrain the
generation diversity, three key flow-related features are leveraged as
conditions in our diffusion model. Furthermore, we also develop an uncertainty
estimation module within diffusion to evaluate the reliability of estimated
scene flow. Our DifFlow3D achieves state-of-the-art performance, with 6.7\% and
19.1\% EPE3D reduction respectively on FlyingThings3D and KITTI 2015 datasets.
Notably, our method achieves an unprecedented millimeter-level accuracy
(0.0089m in EPE3D) on the KITTI dataset. Additionally, our diffusion-based
refinement paradigm can be readily integrated as a plug-and-play module into
existing scene flow networks, significantly increasing their estimation
accuracy. Codes will be released on https://github.com/IRMVLab/DifFlow3D.
- Abstract(参考訳): 動的シーンの点当たりの3次元変位を予測することを目的としたシーンフロー推定は,コンピュータビジョン分野の基本課題である。
しかし,従来の研究は,局所的に制約された探索範囲による信頼できない相関や,粗い構造から生じる不正確な蓄積に苦慮することが多い。
これらの問題を解決するために,拡散確率モデルを用いた新たな不確実性認識シーンフロー推定ネットワーク(difflow3d)を提案する。
反復拡散に基づくリファインメントは、ダイナミクス、ノイズ入力、繰り返しパターンなど、挑戦的なケースに対する相関ロバスト性とレジリエンスを高めるように設計されている。
生成の多様性を抑えるため,拡散モデルにおける3つの主要なフロー関連特徴を条件として利用した。
さらに, 拡散中の不確かさ推定モジュールを開発し, 推定シーンフローの信頼性を評価する。
difflow3dはflyingthings3dとkitti 2015データセットでそれぞれ6.7\%と19.1\%のepe3d低減を実現しています。
特に,本手法は,KITTIデータセット上での前例のないミリレベルの精度(EPE3Dでは0.0089m)を達成する。
さらに,拡散型リファインメントパラダイムは,既存のシーンフローネットワークへのプラグアンドプレイモジュールとして容易に統合でき,推定精度が大幅に向上する。
コードはhttps://github.com/IRMVLab/DifFlow3Dでリリースされる。
関連論文リスト
- DiffSF: Diffusion Models for Scene Flow Estimation [17.512660491303684]
本稿では,変圧器を用いたシーンフロー推定とデノナイズ拡散モデルを組み合わせたDiffSFを提案する。
拡散過程は, 従来の手法に比べて, 予測の堅牢性を大幅に向上させることを示す。
異なる初期状態で複数回サンプリングすることにより、復調過程は複数の仮説を予測し、出力の不確実性を測定することができる。
論文 参考訳(メタデータ) (2024-03-08T14:06:15Z) - Diffusion-based 3D Object Detection with Random Boxes [58.43022365393569]
既存のアンカーベースの3D検出方法は、アンカーの実証的な設定に依存しており、アルゴリズムはエレガンスを欠いている。
提案するDiff3Detは,検出ボックスを生成対象として考慮し,拡散モデルから3次元オブジェクト検出のための提案生成へ移行する。
推論段階では、モデルは予測結果にランダムボックスのセットを徐々に洗練する。
論文 参考訳(メタデータ) (2023-09-05T08:49:53Z) - DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文 参考訳(メタデータ) (2023-08-11T00:44:46Z) - The Surprising Effectiveness of Diffusion Models for Optical Flow and
Monocular Depth Estimation [42.48819460873482]
拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。
また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
論文 参考訳(メタデータ) (2023-06-02T21:26:20Z) - Uncertainty quantification and inverse modeling for subsurface flow in
3D heterogeneous formations using a theory-guided convolutional
encoder-decoder network [5.018057056965207]
複数の垂直生産井を有する動的3次元地下単相流問題に対する代理モデルを構築した。
代理モデルは任意のタイミングで全体の形成を効率的に推算する。
ウェル生産率またはボトムホール圧力はピースマンの公式に基づいて決定できる。
論文 参考訳(メタデータ) (2021-11-14T10:11:46Z) - PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。
我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。
提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
論文 参考訳(メタデータ) (2021-09-28T17:56:41Z) - SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。
本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。
学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
論文 参考訳(メタデータ) (2021-05-10T15:16:14Z) - Consistency Guided Scene Flow Estimation [159.24395181068218]
CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。
提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。
最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
論文 参考訳(メタデータ) (2020-06-19T17:28:07Z) - SoftFlow: Probabilistic Framework for Normalizing Flow on Manifolds [15.476426879806134]
フローベース生成モデルは、同じ次元の2つのランダム変数間の可逆変換からなる。
本論文では,多様体上の正規化フローを学習するための確率的フレームワークであるSoftFlowを提案する。
実験により,SoftFlowは多様体データの固有構造を捕捉し,高品質なサンプルを生成することができることを示した。
提案手法を3次元点雲に適用することにより,フローベースモデルにおける細い構造形成の難しさを軽減する。
論文 参考訳(メタデータ) (2020-06-08T13:56:07Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。