論文の概要: DepthFM: Fast Monocular Depth Estimation with Flow Matching

• arxiv url: http://arxiv.org/abs/2403.13788v1
• Date: Wed, 20 Mar 2024 17:51:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 15:48:57.790974
• Title: DepthFM: Fast Monocular Depth Estimation with Flow Matching
• Title（参考訳）: DepthFM:フローマッチングによる高速単眼深度推定
• Authors: Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer,
• Abstract要約: この問題に対する現在の差別的アプローチは、ぼやけた人工物のために限られている。 最先端の生成法は、SDEの性質上、サンプリングが遅い。 解空間を通した直線軌道は効率と高品質を提供するので,フローマッチングを用いて効果的にフレーム化することができる。
• 参考スコア（独自算出の注目度）: 22.206355073676082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monocular depth estimation is crucial for numerous downstream vision tasks and applications. Current discriminative approaches to this problem are limited due to blurry artifacts, while state-of-the-art generative methods suffer from slow sampling due to their SDE nature. Rather than starting from noise, we seek a direct mapping from input image to depth map. We observe that this can be effectively framed using flow matching, since its straight trajectories through solution space offer efficiency and high quality. Our study demonstrates that a pre-trained image diffusion model can serve as an adequate prior for a flow matching depth model, allowing efficient training on only synthetic data to generalize to real images. We find that an auxiliary surface normals loss further improves the depth estimates. Due to the generative nature of our approach, our model reliably predicts the confidence of its depth estimates. On standard benchmarks of complex natural scenes, our lightweight approach exhibits state-of-the-art performance at favorable low computational cost despite only being trained on little synthetic data.
• Abstract（参考訳）: 単眼深度推定は多くの下流視覚タスクやアプリケーションにとって重要である。 この問題に対する現在の差別的アプローチは、ぼやけたアーティファクトによって制限されているが、最先端の生成手法は、SDEの性質によってサンプリングが遅くなる。 ノイズから始めるのではなく、入力画像から深度マップへの直接マッピングを求める。 解空間を通した直線軌道は効率と高品質を提供するので,フローマッチングを用いて効果的にフレーム化することができる。 本研究では, 事前学習した画像拡散モデルが, 流れマッチング深度モデルにおいて適切な事前学習となり, 合成データのみを効率的に訓練し, 実画像に一般化できることを実証した。 補助表面の正規化損失は、さらに深さ推定を改善する。 提案手法の生成特性から,本モデルはその深度推定の信頼性を確実に予測する。 複雑な自然のシーンの標準的なベンチマークでは、我々の軽量なアプローチは、少ない合成データでのみ訓練されているにもかかわらず、最先端の性能を好ましい低計算コストで示す。

関連論文リスト

• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Towards Unsupervised Blind Face Restoration using Diffusion Prior [12.69610609088771]
  ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。 これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。 本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。 我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
  論文  参考訳（メタデータ） (2024-10-06T20:38:14Z)
• Rejection Sampling IMLE: Designing Priors for Better Few-Shot Image Synthesis [7.234618871984921]
  新たな研究分野は、限られたトレーニングデータで深層生成モデルを学ぶことを目的としている。 トレーニングに使用する事前分布を変更する新しいアプローチであるRS-IMLEを提案する。 これにより、既存のGANやIMLEベースの手法に比べて画質が大幅に向上する。
  論文  参考訳（メタデータ） (2024-09-26T00:19:42Z)
• Fast LiDAR Upsampling using Conditional Diffusion Models [1.3709133749179265]
  既存の手法は拡散モデルを用いて高忠実度で洗練されたLiDARデータを生成する可能性を示している。 高速かつ高品質な3次元シーンポイント雲のスパース・ツー・デンスアップサンプリングのための条件拡散モデルに基づく新しいアプローチを提案する。 本手法では,条件付き塗装マスクを用いて訓練した拡散確率モデルを用いて,画像補完タスクの性能向上を図っている。
  論文  参考訳（メタデータ） (2024-05-08T08:38:28Z)
• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
  この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。 提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。 提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
  論文  参考訳（メタデータ） (2023-07-15T04:48:35Z)
• The Surprising Effectiveness of Diffusion Models for Optical Flow and Monocular Depth Estimation [42.48819460873482]
  拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。 また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
  論文  参考訳（メタデータ） (2023-06-02T21:26:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Score-based diffusion models for accelerated MRI [35.3148116010546]
  本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。 我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
  論文  参考訳（メタデータ） (2021-10-08T08:42:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。