論文の概要: One at A Time: Multi-step Volumetric Probability Distribution Diffusion
for Depth Estimation
- arxiv url: http://arxiv.org/abs/2306.12681v1
- Date: Thu, 22 Jun 2023 05:55:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-23 15:26:38.587146
- Title: One at A Time: Multi-step Volumetric Probability Distribution Diffusion
for Depth Estimation
- Title(参考訳): 1回に1回:深さ推定のための多段階容積確率分布拡散
- Authors: Bohan Li, Jingxin Dong, Yunnan Wang, Jinming Liu, Lianying Yin, Wei
Zhao, Zheng Zhu, Xin Jin, Wenjun Zeng
- Abstract要約: 多段階分布近似法として深度推定タスクを定式化する。
我々は,拡散モデル(VPDD)を用いたマルコフ連鎖に従って,体積確率分布を段階的に(段階的に)段階的にモデル化する新しいパラダイムを導入する。
MVS と SSC のタスクでは,プラグインとプレイのVPDD が最先端のタスクよりも優れていることを示す実験結果が得られた。
- 参考スコア(独自算出の注目度): 59.08791809527305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent works have explored the fundamental role of depth estimation in
multi-view stereo (MVS) and semantic scene completion (SSC). They generally
construct 3D cost volumes to explore geometric correspondence in depth, and
estimate such volumes in a single step relying directly on the ground truth
approximation. However, such problem cannot be thoroughly handled in one step
due to complex empirical distributions, especially in challenging regions like
occlusions, reflections, etc. In this paper, we formulate the depth estimation
task as a multi-step distribution approximation process, and introduce a new
paradigm of modeling the Volumetric Probability Distribution progressively
(step-by-step) following a Markov chain with Diffusion models (VPDD).
Specifically, to constrain the multi-step generation of volume in VPDD, we
construct a meta volume guidance and a confidence-aware contextual guidance as
conditional geometry priors to facilitate the distribution approximation. For
the sampling process, we further investigate an online filtering strategy to
maintain consistency in volume representations for stable training. Experiments
demonstrate that our plug-and-play VPDD outperforms the state-of-the-arts for
tasks of MVS and SSC, and can also be easily extended to different baselines to
get improvement. It is worth mentioning that we are the first camera-based work
that surpasses LiDAR-based methods on the SemanticKITTI dataset.
- Abstract(参考訳): 近年,マルチビューステレオ(MVS)とセマンティックシーン補完(SSC)における深度推定の基本的な役割について検討している。
彼らは一般的に3次元のコストボリュームを構築し、幾何学的対応を深く探求し、それらのボリュームを1ステップで推定する。
しかし、複雑な経験的分布、特に閉塞や反射などの挑戦的な領域において、そのような問題は1段階で完全には処理できない。
本稿では,多段階分布近似法として深度推定タスクを定式化し,拡散モデル(VPDD)を用いたマルコフ連鎖に従って,体積確率分布を段階的に(段階的に)モデル化する新しいパラダイムを提案する。
具体的には,VPDDにおけるボリュームの多段階生成を制限するため,分布近似を容易にするために,メタボリュームガイダンスとコンテクストガイダンスを構築した。
サンプリングプロセスでは,安定したトレーニングのためのボリューム表現の整合性を維持するためのオンラインフィルタリング戦略をさらに検討する。
実験により,MVS や SSC のタスクでは,プラグアンドプレイのVPDD が最先端のタスクよりも優れており,また,改善のためにさまざまなベースラインに容易に拡張可能であることが示された。
SemanticKITTIデータセット上でLiDARベースのメソッドを超えた最初のカメラベースの作業であることに注意してください。
関連論文リスト
- RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering
Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。
本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文 参考訳(メタデータ) (2023-12-19T03:39:56Z) - Joint Depth Prediction and Semantic Segmentation with Multi-View SAM [59.99496827912684]
我々は,Segment Anything Model(SAM)のリッチなセマンティック特徴を利用した深度予測のためのマルチビューステレオ(MVS)手法を提案する。
この拡張深度予測は、Transformerベースのセマンティックセグメンテーションデコーダのプロンプトとして役立ちます。
論文 参考訳(メタデータ) (2023-10-31T20:15:40Z) - KVN: Keypoints Voting Network with Differentiable RANSAC for Stereo Pose
Estimation [1.1603243575080535]
我々は、よく知られた単分子ポーズ推定ネットワークに微分可能なRANSAC層を導入する。
本稿では, RANSACが提案した層の精度に果たす役割について述べる。
論文 参考訳(メタデータ) (2023-07-21T12:43:07Z) - SVDM: Single-View Diffusion Model for Pseudo-Stereo 3D Object Detection [0.0]
Pseudo-Stereoに基づくモノクル3D検出のためのフレームワークが最近提案され、コミュニティで注目されている。
本研究では,単一視点拡散モデルを導入することで,エンドツーエンドで効率的な擬似ステレオ3D検出フレームワークを提案する。
SVDMは擬似ステレオ3D検出パイプライン全体をエンドツーエンドで訓練することができ、ステレオ検出器の訓練の恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-07-05T13:10:37Z) - Cross-Dimensional Refined Learning for Real-Time 3D Visual Perception
from Monocular Video [2.2299983745857896]
本稿では3次元シーンの幾何学的構造と意味的ラベルを協調的に知覚する新しいリアルタイム能動的学習法を提案する。
本稿では,3次元メッシュと3次元セマンティックラベリングの両方をリアルタイムに抽出する,エンドツーエンドのクロスディメンテーションニューラルネットワーク(CDRNet)を提案する。
論文 参考訳(メタデータ) (2023-03-16T11:53:29Z) - Neural Volume Super-Resolution [49.879789224455436]
本稿では,シーンの体積表現を直接操作する超解像ネットワークを提案する。
提案手法を実現するために,複数の2次元特徴面にヒンジを付ける新しい3次元表現法を提案する。
多様な3Dシーンの多視点一貫したビューを超解し,提案手法の有効性を検証した。
論文 参考訳(メタデータ) (2022-12-09T04:54:13Z) - BEVStereo: Enhancing Depth Estimation in Multi-view 3D Object Detection
with Dynamic Temporal Stereo [15.479670314689418]
本稿では,マッチング候補のスケールを動的に選択するための効果的な時間ステレオ手法を提案する。
我々は、より価値のある候補を更新するための反復アルゴリズムを設計し、移動可能な候補に適応する。
BEVStereoは、nuScenesデータセットのカメラのみのトラックで、最先端のパフォーマンスを新たに達成する。
論文 参考訳(メタデータ) (2022-09-21T10:21:25Z) - SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video
Anomaly Detection [108.57862846523858]
自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。
マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。
モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
論文 参考訳(メタデータ) (2022-07-16T19:25:41Z) - The Devil is in the Task: Exploiting Reciprocal Appearance-Localization
Features for Monocular 3D Object Detection [62.1185839286255]
低コストのモノクル3D物体検出は、自律運転において基本的な役割を果たす。
DFR-Netという動的特徴反射ネットワークを導入する。
我々は、KITTIテストセットの全ての単分子3D物体検出器の中で、第1位にランク付けする。
論文 参考訳(メタデータ) (2021-12-28T07:31:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。