論文の概要: 360MonoDepth: High-Resolution 360{\deg} Monocular Depth Estimation
- arxiv url: http://arxiv.org/abs/2111.15669v1
- Date: Tue, 30 Nov 2021 18:57:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-01 15:58:37.472349
- Title: 360MonoDepth: High-Resolution 360{\deg} Monocular Depth Estimation
- Title（参考訳）: 360MonoDepth: 高分解能360{\deg} 単分子深さ推定
- Authors: Manuel Rey-Area and Mingze Yuan and Christian Richardt
- Abstract要約: 360degデータでは 単分子深度推定は 依然として課題です
現在のCNNベースのメソッドは、GPUメモリが限られているため、そのような高解像度をサポートしない。
タンジェント画像を用いた高解像度360deg画像からの単眼深度推定のためのフレキシブルなフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.65828728205071
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 360{\deg} cameras can capture complete environments in a single shot, which
makes 360{\deg} imagery alluring in many computer vision tasks. However,
monocular depth estimation remains a challenge for 360{\deg} data, particularly
for high resolutions like 2K (2048$\times$1024) that are important for
novel-view synthesis and virtual reality applications. Current CNN-based
methods do not support such high resolutions due to limited GPU memory. In this
work, we propose a flexible framework for monocular depth estimation from
high-resolution 360{\deg} images using tangent images. We project the 360{\deg}
input image onto a set of tangent planes that produce perspective views, which
are suitable for the latest, most accurate state-of-the-art perspective
monocular depth estimators. We recombine the individual depth estimates using
deformable multi-scale alignment followed by gradient-domain blending to
improve the consistency of disparity estimates. The result is a dense,
high-resolution 360{\deg} depth map with a high level of detail, also for
outdoor scenes which are not supported by existing methods.
- Abstract（参考訳）: 360{\deg}カメラは単一のショットで完全な環境をキャプチャできるため、多くのコンピュータビジョンタスクで360{\deg}の画像が順応する。
しかし、360{\deg}データ、特に2k (2048$\times$1024)のような新しい視点合成やバーチャルリアリティアプリケーションにとって重要な高解像度データでは、単眼深度の推定は依然として困難である。
現在のCNNベースのメソッドは、GPUメモリが限られているため、そのような高解像度をサポートしない。
本研究では,接線画像を用いた高分解能360{\deg}画像からの単眼深度推定のための柔軟な枠組みを提案する。
我々は360{\deg} の入力画像を一組の接面に投影し、最新の最先端のモノクル深度推定器に適した視点ビューを生成する。
変形可能なマルチスケールアライメントを用いて個別の深さ推定を再結合し,その後に勾配領域ブレンディングを行い,差分推定の整合性を改善する。
その結果、密集した高解像度の360{\deg}深度マップが作成され、詳細度が高く、また既存の手法ではサポートされていない屋外シーンも利用できる。
関連論文リスト
- Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation [6.832852988957967]
ラベルのない360度データを効果的に活用する新しい深度推定フレームワークを提案する。
提案手法では,教師モデルとして最先端の視点深度推定モデルを用いて擬似ラベルを生成する。
我々は、Matterport3DやStanford2D3Dといったベンチマークデータセットに対するアプローチを検証し、深さ推定精度を大幅に改善した。
論文 参考訳（メタデータ） (2024-06-18T17:59:31Z) - Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。
SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。
提案手法は,9つの入力ビューから360度映像全体を生成する。
論文 参考訳（メタデータ） (2024-05-26T11:01:39Z) - DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
テキストから3D 360$circ$のシーン生成パイプラインを提示する。
提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。
当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
論文 参考訳（メタデータ） (2024-04-10T10:46:59Z) - NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。
NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。
我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
論文 参考訳（メタデータ） (2023-08-24T17:59:50Z) - High-Resolution Depth Estimation for 360-degree Panoramas through
Perspective and Panoramic Depth Images Registration [3.4583104874165804]
本研究では,パノラマの高分解能(2048×1024以上)深度を計算するための新しい手法を提案する。
提案手法は,既存のパノラマ法よりも定性的に優れた結果を生成するとともに,これらの手法では見つからないデータセット上で定量的に評価する。
論文 参考訳（メタデータ） (2022-10-19T09:25:12Z) - Field-of-View IoU for Object Detection in 360{\deg} Images [36.72543749626039]
本研究では,FoV-IoU(FoV-IoU)と360deg画像における物体検出のための360Augmentationという2つの基本手法を提案する。
FoV-IoUは2つの視野境界ボックスの交叉結合を球面画像で計算し、トレーニング、推論、評価に使用できる。
360Augmentationは、球面イメージをランダムに回転させ、球面から平面への投影によるバイアスを解決する360degオブジェクト検出タスクに特有のデータ拡張技術である。
論文 参考訳（メタデータ） (2022-02-07T14:01:59Z) - Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular
Video Depth [90.33296913575818]
映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。
局所重み付き線形回帰法を提案する。
提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
論文 参考訳（メタデータ） (2022-02-03T08:52:54Z) - LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth
Rendering [59.63979143021241]
パノラマの地平線上での深度予測問題として360度レイアウト推定のタスクを定式化する。
レイアウトから深度予測への変換を区別できるように、差分可能な深度レンダリング手順を提案します。
提案手法は,360 レイアウトのベンチマークデータセットで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-04-01T15:48:41Z) - 360$^\circ$ Depth Estimation from Multiple Fisheye Images with Origami
Crown Representation of Icosahedron [5.384800591054856]
全方位画像に対する新しいコサヘドロン表現とConvNetを提案する。
CrownConvは、魚眼画像と正方形画像の両方に適用して特徴を抽出することができる。
提案手法は計算効率がよいため,GPUを搭載したラップトップを用いて,魚眼画像4枚から1秒以内で深度を推定する。
論文 参考訳（メタデータ） (2020-07-14T08:02:53Z) - A Fixation-based 360{\deg} Benchmark Dataset for Salient Object
Detection [21.314578493964333]
パノラマコンテンツ中の固定予測(FP)は、仮想現実(VR)アプリケーションの普及傾向とともに広く研究されている。
静止物体検出(SOD)は、実際のシーンを表すデータセットが欠如しているため、360度画像ではめったに探索されていない。
論文 参考訳（メタデータ） (2020-01-22T11:16:39Z) - Visual Question Answering on 360{\deg} Images [96.00046925811515]
VQA 360は、360度画像上で視覚的な質問に答える新しいタスクである。
最初のVQA 360データセットを収集し、様々な質問タイプに対して、約17,000の現実世界の画像検索用トリプルを含む。
論文 参考訳（メタデータ） (2020-01-10T08:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。