論文の概要: The Surprising Effectiveness of Diffusion Models for Optical Flow and
Monocular Depth Estimation
- arxiv url: http://arxiv.org/abs/2306.01923v1
- Date: Fri, 2 Jun 2023 21:26:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 21:21:59.703849
- Title: The Surprising Effectiveness of Diffusion Models for Optical Flow and
Monocular Depth Estimation
- Title(参考訳): 拡散モデルによる光学的流れと単眼深度推定の驚くべき効果
- Authors: Saurabh Saxena, Charles Herrmann, Junhwa Hur, Abhishek Kar, Mohammad
Norouzi, Deqing Sun, David J. Fleet
- Abstract要約: 拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。
また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
- 参考スコア(独自算出の注目度): 52.47055547635759
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Denoising diffusion probabilistic models have transformed image generation
with their impressive fidelity and diversity. We show that they also excel in
estimating optical flow and monocular depth, surprisingly, without
task-specific architectures and loss functions that are predominant for these
tasks. Compared to the point estimates of conventional regression-based
methods, diffusion models also enable Monte Carlo inference, e.g., capturing
uncertainty and ambiguity in flow and depth. With self-supervised pre-training,
the combined use of synthetic and real data for supervised training, and
technical innovations (infilling and step-unrolled denoising diffusion
training) to handle noisy-incomplete training data, and a simple form of
coarse-to-fine refinement, one can train state-of-the-art diffusion models for
depth and optical flow estimation. Extensive experiments focus on quantitative
performance against benchmarks, ablations, and the model's ability to capture
uncertainty and multimodality, and impute missing values. Our model, DDVM
(Denoising Diffusion Vision Model), obtains a state-of-the-art relative depth
error of 0.074 on the indoor NYU benchmark and an Fl-all outlier rate of 3.26\%
on the KITTI optical flow benchmark, about 25\% better than the best published
method. For an overview see https://diffusion-vision.github.io.
- Abstract(参考訳): 拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。
また,これらのタスクに支配的なタスク固有のアーキテクチャや損失関数がなければ,光学的フローと単眼深度の推定にも優れることを示す。
従来の回帰に基づく手法の点推定と比較すると、拡散モデルは、流れと深さの不確かさと曖昧さを捉えるなど、モンテカルロ推論を可能にする。
自己教師付き事前訓練、教師付きトレーニングのための合成データと実データの統合、ノイズのない不完全なトレーニングデータを扱う技術革新(補足と段階的に学習する拡散訓練)、および粗い微細化の簡単な形態により、深度と光フロー推定のための最先端拡散モデルを訓練することができる。
広範な実験では、ベンチマーク、アブレーション、モデルの不確実性とマルチモダリティを捉える能力、欠落した値に対する定量的なパフォーマンスに焦点を当てている。
我々のモデルDDVM(Denoising Diffusion Vision Model)は、室内NYUベンチマークで0.074の最先端相対深度誤差と、KITTIの光学フローベンチマークで3.26倍のFl-allアウトリー率を得る。
概要はhttps://diffusion-vision.github.ioを参照。
関連論文リスト
- PiRD: Physics-informed Residual Diffusion for Flow Field Reconstruction [5.06136344261226]
データ忠実度向上のためのCNNベースの手法は、トレーニング期間中の低忠実度データパターンと分布に依存している。
提案したモデルである物理インフォームド残差拡散(Residual Diffusion)は、標準の低忠実度入力からデータの品質を高める能力を示す。
実験結果から, 2次元乱流に対して, 再学習を必要とせず, 高品質な流れを効果的に再現できることが示唆された。
論文 参考訳(メタデータ) (2024-04-12T11:45:51Z) - DepthFM: Fast Monocular Depth Estimation with Flow Matching [22.206355073676082]
この問題に対する現在の差別的アプローチは、ぼやけた人工物のために限られている。
最先端の生成法は、SDEの性質上、サンプリングが遅い。
解空間を通した直線軌道は効率と高品質を提供するので,フローマッチングを用いて効果的にフレーム化することができる。
論文 参考訳(メタデータ) (2024-03-20T17:51:53Z) - Stealing Stable Diffusion Prior for Robust Monocular Depth Estimation [33.140210057065644]
本稿では, 単分子深度推定に先立って, ステアリング安定拡散 (SSD) という新しい手法を提案する。
このアプローチは、安定拡散を利用して、挑戦的な条件を模倣した合成画像を生成することにより、この制限に対処する。
このアプローチの有効性は、nuScenesとOxford RobotCarで評価されている。
論文 参考訳(メタデータ) (2024-03-08T05:06:31Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T03:08:28Z) - CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion
Models [72.93652777646233]
カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。
本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。
カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
論文 参考訳(メタデータ) (2023-05-29T07:49:44Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。