論文の概要: Distortion-Aware Self-Supervised 360{\deg} Depth Estimation from A Single Equirectangular Projection Image

• arxiv url: http://arxiv.org/abs/2204.01027v1
• Date: Sun, 3 Apr 2022 08:28:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 08:46:26.318335
• Title: Distortion-Aware Self-Supervised 360{\deg} Depth Estimation from A Single Equirectangular Projection Image
• Title（参考訳）: 単一等角射影画像からの自己教師付き360{\deg}深度推定
• Authors: Yuya Hasegawa, Ikehata Satoshi, Kiyoharu Aizawa
• Abstract要約: 本稿では,オープン環境下での単一360度画像深度予測のための新しい手法を提案する。 ひとつは、監視データセットの制限 - 現在利用可能なデータセットは、屋内シーンに限られている。 もうひとつは、座標と歪みを持つ360deg画像に一般的に使用される等角射影フォーマット(ERP)による問題である。
• 参考スコア（独自算出の注目度）: 35.943763515381214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 360{\deg} images are widely available over the last few years. This paper proposes a new technique for single 360{\deg} image depth prediction under open environments. Depth prediction from a 360{\deg} single image is not easy for two reasons. One is the limitation of supervision datasets - the currently available dataset is limited to indoor scenes. The other is the problems caused by Equirectangular Projection Format (ERP), commonly used for 360{\deg} images, that are coordinate and distortion. There is only one method existing that uses cube map projection to produce six perspective images and apply self-supervised learning using motion pictures for perspective depth prediction to deal with these problems. Different from the existing method, we directly use the ERP format. We propose a framework of direct use of ERP with coordinate conversion of correspondences and distortion-aware upsampling module to deal with the ERP related problems and extend a self-supervised learning method for open environments. For the experiments, we firstly built a dataset for the evaluation, and quantitatively evaluate the depth prediction in outdoor scenes. We show that it outperforms the state-of-the-art technique
• Abstract（参考訳）: 360{\deg}画像はここ数年で広く利用できるようになった。 本稿では,オープン環境下での単一の360{\deg}画像深度予測のための新しい手法を提案する。 360{\deg}画像からの深度予測は2つの理由から容易ではない。 ひとつは、監視データセットの制限 - 現在利用可能なデータセットは、屋内シーンに限られている。 もうひとつは、座標と歪みを持つ360{\deg}画像に一般的に使用される等角射影フォーマット(ERP)による問題である。 6つの視点画像を生成するために立方体マッププロジェクションを使用し、視点深度予測のために動画像を用いた自己教師付き学習を適用する方法が1つ存在する。 既存の方法と異なり、直接ERPフォーマットを使用します。 本研究では,ERP を協調変換するフレームワークと,ERP に関連する問題に対処する歪み対応アップサンプリングモジュールを提案し,オープン環境に対する自己教師付き学習手法を拡張した。 実験ではまず,評価のためのデータセットを構築し,屋外シーンの深度予測を定量的に評価した。 最先端技術よりも優れていることを示す。

関連論文リスト

• Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation [6.832852988957967]
  ラベルのない360度データを効果的に活用する新しい深度推定フレームワークを提案する。 提案手法では,教師モデルとして最先端の視点深度推定モデルを用いて擬似ラベルを生成する。 我々は、Matterport3DやStanford2D3Dといったベンチマークデータセットに対するアプローチを検証し、深さ推定精度を大幅に改善した。
  論文  参考訳（メタデータ） (2024-06-18T17:59:31Z)
• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• OmniFusion: 360 Monocular Depth Estimation via Geometry-Aware Fusion [12.058261716065381]
  球面歪み問題に対処するため,360度単分子深度推定パイプライン,textit OmniFusionを提案する。 我々のパイプラインは、360度画像を歪みの少ない視点パッチ(すなわち、タンジェント画像)に変換して、CNNを介してパッチワイズ予測を取得し、最終的な出力のためにパッチワイズ結果をマージする。 実験の結果,本手法は歪み問題を大幅に軽減し,360度単眼深度推定ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-02T03:19:49Z)
• Field-of-View IoU for Object Detection in 360{\deg} Images [36.72543749626039]
  本研究では,FoV-IoU(FoV-IoU)と360deg画像における物体検出のための360Augmentationという2つの基本手法を提案する。 FoV-IoUは2つの視野境界ボックスの交叉結合を球面画像で計算し、トレーニング、推論、評価に使用できる。 360Augmentationは、球面イメージをランダムに回転させ、球面から平面への投影によるバイアスを解決する360degオブジェクト検出タスクに特有のデータ拡張技術である。
  論文  参考訳（メタデータ） (2022-02-07T14:01:59Z)
• 360{\deg} Optical Flow using Tangent Images [18.146747748702513]
  等角射影 (ERP) は、360度画像の保存、処理、視覚化において最も一般的なフォーマットである。 タンジェント画像に基づく360度光フロー法を提案する。
  論文  参考訳（メタデータ） (2021-12-28T23:50:46Z)
• 360-DFPE: Leveraging Monocular 360-Layouts for Direct Floor Plan Estimation [43.56963653723287]
  能動センサや3D情報に頼ることなく,360-DFPEを直接入力として利用するシーケンシャルフロアプラン推定法である360-DFPEを提案する。 以上の結果から, 現状のアルゴリズムに対して, 単分子解が良好な性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-12T08:36:41Z)
• Coherent Reconstruction of Multiple Humans from a Single Image [68.3319089392548]
  本研究では,1枚の画像から多人数の3Dポーズ推定を行う問題に対処する。 この問題のトップダウン設定における典型的な回帰アプローチは、まずすべての人間を検出し、それぞれを独立して再構築する。 我々のゴールは、これらの問題を回避し、現場のすべての人間のコヒーレントな3D再構成を生成するために学習する単一のネットワークをトレーニングすることである。
  論文  参考訳（メタデータ） (2020-06-15T17:51:45Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)
• Visual Question Answering on 360{\deg} Images [96.00046925811515]
  VQA 360は、360度画像上で視覚的な質問に答える新しいタスクである。 最初のVQA 360データセットを収集し、様々な質問タイプに対して、約17,000の現実世界の画像検索用トリプルを含む。
  論文  参考訳（メタデータ） (2020-01-10T08:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。