論文の概要: DepthFM: Fast Monocular Depth Estimation with Flow Matching
- arxiv url: http://arxiv.org/abs/2403.13788v2
- Date: Thu, 19 Dec 2024 17:51:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 13:27:37.266591
- Title: DepthFM: Fast Monocular Depth Estimation with Flow Matching
- Title（参考訳）: DepthFM:フローマッチングによる高速単眼深度推定
- Authors: Ming Gui, Johannes Schusterbauer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer,
- Abstract要約: 現在の識別的深さ推定法は、しばしばぼやけた人工物を生成するが、生成的アプローチはノイズ・ツー・ディープ・トランスポートの曲率によるサンプリングが遅い。
本手法は,画像と深度分布間の直接輸送として深度推定をフレーミングすることで,これらの課題に対処する。
提案手法は, 複雑な自然シーンの標準ベンチマークにおいて, サンプリング効率を向上し, 学習に最小限の合成データしか必要とせず, 競争力のあるゼロショット性能を実現する。
- 参考スコア（独自算出の注目度）: 22.206355073676082
- License:
- Abstract: Current discriminative depth estimation methods often produce blurry artifacts, while generative approaches suffer from slow sampling due to curvatures in the noise-to-depth transport. Our method addresses these challenges by framing depth estimation as a direct transport between image and depth distributions. We are the first to explore flow matching in this field, and we demonstrate that its interpolation trajectories enhance both training and sampling efficiency while preserving high performance. While generative models typically require extensive training data, we mitigate this dependency by integrating external knowledge from a pre-trained image diffusion model, enabling effective transfer even across differing objectives. To further boost our model performance, we employ synthetic data and utilize image-depth pairs generated by a discriminative model on an in-the-wild image dataset. As a generative model, our model can reliably estimate depth confidence, which provides an additional advantage. Our approach achieves competitive zero-shot performance on standard benchmarks of complex natural scenes while improving sampling efficiency and only requiring minimal synthetic data for training.
- Abstract（参考訳）: 現在の識別的深さ推定法は、しばしばぼやけた人工物を生成するが、生成的アプローチはノイズ・ツー・ディープ・トランスポートの曲率によるサンプリングが遅い。
本手法は,画像と深度分布間の直接輸送として深度推定をフレーミングすることで,これらの課題に対処する。
我々は,この分野で最初にフローマッチングを探求し,その補間軌道が高い性能を維持しつつ,トレーニングとサンプリングの効率を向上させることを実証した。
生成モデルは通常、広範なトレーニングデータを必要とするが、事前訓練された画像拡散モデルから外部知識を統合することにより、この依存を緩和し、異なる目的に対して効果的な伝達を可能にする。
モデル性能をさらに向上するため、我々は合成データを使用し、その画像データセット上で識別モデルによって生成された画像深度ペアを利用する。
生成モデルとして、我々のモデルは深度信頼度を確実に推定することができ、さらなる利点をもたらす。
提案手法は, 複雑な自然シーンの標準ベンチマークにおいて, サンプリング効率を向上し, 学習に最小限の合成データしか必要とせず, 競争力のあるゼロショット性能を実現する。
関連論文リスト
- Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
拡散モデルは、大規模な生成画像モデルの分野を支配してきた。
本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-24T14:52:38Z) - Towards Unsupervised Blind Face Restoration using Diffusion Prior [12.69610609088771]
ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。
これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。
本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。
我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
論文 参考訳（メタデータ） (2024-10-06T20:38:14Z) - Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think [53.2706196341054]
認識された非効率性は、これまで気付かれなかった推論パイプラインの欠陥によって引き起こされたことを示している。
タスク固有の損失を伴う単一ステップモデル上でエンドツーエンドの微調整を行い、他の拡散に基づく深さモデルや正規推定モデルよりも優れた決定論的モデルを得る。
論文 参考訳（メタデータ） (2024-09-17T16:58:52Z) - PrimeDepth: Efficient Monocular Depth Estimation with a Stable Diffusion Preimage [19.02295657801464]
この研究はゼロショット単眼深度推定の課題に対処する。
この分野での最近の進歩は、安定拡散のようなテキスト・ツー・イメージの基礎モデルを活用するというアイデアである。
拡散型アプローチの正の側面を保ちつつ、あるいは強化しながら、テスト時に高い効率を発揮できる方法であるPrimeDepthを提案する。
論文 参考訳（メタデータ） (2024-09-13T19:03:48Z) - Consistency Regularisation for Unsupervised Domain Adaptation in Monocular Depth Estimation [15.285720572043678]
整合性に基づく半教師付き学習問題として,単眼深度推定のための教師なし領域適応を定式化する。
複数の拡張ビューにまたがって一貫性を保ちながら、ソースドメイン上の予測を規則化するペアワイズ損失関数を導入する。
実験では, KITTI と NYUv2 の標準深度推定ベンチマークを用いて,最先端の結果を示す。
論文 参考訳（メタデータ） (2024-05-27T23:32:06Z) - FlowDepth: Decoupling Optical Flow for Self-Supervised Monocular Depth Estimation [8.78717459496649]
本稿では,ダイナミックモーションフローモジュール (DMFM) が機構ベースのアプローチで光学フローを分離し,動的領域をワープし,ミスマッチ問題を解くフローDepthを提案する。
高フレック領域と低テクスチャ領域による光度誤差の不公平性については,入力と損失レベルでそれぞれDepth-Cue-Aware Blur(DCABlur)とCost-Volumeの空間損失を用いて解決する。
論文 参考訳（メタデータ） (2024-03-28T10:31:23Z) - The Surprising Effectiveness of Diffusion Models for Optical Flow and
Monocular Depth Estimation [42.48819460873482]
拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。
また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
論文 参考訳（メタデータ） (2023-06-02T21:26:20Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T03:08:28Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳（メタデータ） (2022-11-07T16:17:47Z) - Occlusion-aware Unsupervised Learning of Depth from 4-D Light Fields [50.435129905215284]
4次元光場処理と解析のための教師なし学習に基づく深度推定法を提案する。
光場データの特異な幾何学構造に関する基礎知識に基づいて,光場ビューのサブセット間の角度コヒーレンスを探索し,深度マップを推定する。
提案手法は,従来の手法と同等の精度で計算コストを低減した深度マップを作成できる。
論文 参考訳（メタデータ） (2021-06-06T06:19:50Z) - A Plug-and-play Scheme to Adapt Image Saliency Deep Model for Video Data [54.198279280967185]
本稿では,ビデオデータに対して予め訓練された画像の鮮度深度モデルを弱めに再学習する新しいプラグイン・アンド・プレイ方式を提案する。
本手法は,既訓練画像の深度モデルに適応して高品質な映像の鮮度検出を実現するのに有効である。
論文 参考訳（メタデータ） (2020-08-02T13:23:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。