論文の概要: CRF360D: Monocular 360 Depth Estimation via Spherical Fully-Connected CRFs

• arxiv url: http://arxiv.org/abs/2405.11564v1
• Date: Sun, 19 May 2024 14:29:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 15:12:36.342220
• Title: CRF360D: Monocular 360 Depth Estimation via Spherical Fully-Connected CRFs
• Title（参考訳）: CRF360D:球状完全連結CRFによる単分子360度深度推定
• Authors: Zidong Cao, Lin Wang,
• Abstract要約: 等角射影(ERP)面に固有の歪みがあるため、単眼の360度深度推定は困難である。 本稿では球面完全連結CRF(SF-CRF)を提案する。 SF-CRFは2つの重要なコンポーネントを享受し、まず、十分な球面近傍を含むために、球面ウィンドウ変換(SWT)モジュールを提案する。 このモジュールは、赤道窓の球面関係を他のすべての窓に再現することを目的としており、球面の回転不変性を活用している。 注目すべきは、変換プロセスが非常に効率的で、すべてのウィンドウの変換を512で完了することだ。
• 参考スコア（独自算出の注目度）: 5.854176164327896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular 360 depth estimation is challenging due to the inherent distortion of the equirectangular projection (ERP). This distortion causes a problem: spherical adjacent points are separated after being projected to the ERP plane, particularly in the polar regions. To tackle this problem, recent methods calculate the spherical neighbors in the tangent domain. However, as the tangent patch and sphere only have one common point, these methods construct neighboring spherical relationships around the common point. In this paper, we propose spherical fully-connected CRFs (SF-CRFs). We begin by evenly partitioning an ERP image with regular windows, where windows at the equator involve broader spherical neighbors than those at the poles. To improve the spherical relationships, our SF-CRFs enjoy two key components. Firstly, to involve sufficient spherical neighbors, we propose a Spherical Window Transform (SWT) module. This module aims to replicate the equator window's spherical relationships to all other windows, leveraging the rotational invariance of the sphere. Remarkably, the transformation process is highly efficient, completing the transformation of all windows in a 512X1024 ERP with 0.038 seconds on CPU. Secondly, we propose a Planar-Spherical Interaction (PSI) module to facilitate the relationships between regular and transformed windows, which not only preserves the local details but also captures global structures. By building a decoder based on the SF-CRFs blocks, we propose CRF360D, a novel 360 depth estimation framework that achieves state-of-the-art performance across diverse datasets. Our CRF360D is compatible with different perspective image-trained backbones (e.g., EfficientNet), serving as the encoder.
• Abstract（参考訳）: 等角射影(ERP)の固有の歪みのため、単眼の360度深度推定は困難である。 球面隣接点は、特に極域においてERP平面に投影された後に分離される。 この問題に対処するため、近年の手法は接領域における球面近傍を計算する。 しかし、接パッチと球面は1つの共通点しか持たないため、これらの手法は共通点の周りに隣接する球面関係を構成する。 本稿では,球状完全連結CRF(SF-CRF)を提案する。 まず、通常の窓でERP画像を均等に分割し、赤道の窓は極の窓よりも広い球面の隣人を含む。 球面関係を改善するため、SF-CRFには2つの重要な要素がある。 まず,SWT(Spherical Window Transform)モジュールを提案する。 このモジュールは、赤道窓の球面関係を他のすべての窓に再現することを目的としており、球面の回転不変性を活用している。 注目すべきは、変換プロセスが非常に効率的で、CPU上で0.038秒の512X1024 ERPですべてのウィンドウの変換を完了していることだ。 第2に、局所的な詳細を格納するだけでなく、グローバルな構造をキャプチャする、正規なウィンドウと変換されたウィンドウの関係を容易にするためのPlanar-Spherical Interaction (PSI) モジュールを提案する。 SF-CRFブロックをベースとしたデコーダの構築により,多様なデータセットにまたがる最先端性能を実現する新しい360度深度推定フレームワークであるCRF360Dを提案する。 私たちのCRF360Dは、異なる視点で訓練されたバックボーン(例えば、EfficientNet)と互換性があり、エンコーダとして機能します。

関連論文リスト

• SGFormer: Spherical Geometry Transformer for 360 Depth Estimation [54.13459226728249]
  パノラマ歪みは360度深度推定において大きな課題となる。 本稿では,SGFormer という球面形状変換器を提案し,上記の問題に対処する。 また、様々な解像度で空間構造を補うために、クエリベースの大域的条件位置埋め込みを提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:36:24Z)
• Spherical Feature Pyramid Networks For Semantic Segmentation [0.0]
  球面メッシュ上で信号を表現するグラフベースモデルを開発した。 従来最高の球面CNNよりも3.75IoUポイント向上したmIOUの48.75で最先端の性能を実現した。
  論文  参考訳（メタデータ） (2023-07-05T21:19:13Z)
• Sphere2Vec: A General-Purpose Location Representation Learning over a Spherical Surface for Large-Scale Geospatial Predictions [73.60788465154572]
  現在の2Dおよび3D位置エンコーダはユークリッド空間における点距離をモデル化するために設計されている。 本研究では,球面上の点座標を符号化する場合に,球面距離を保存できるSphere2Vecというマルチスケール位置エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:55:02Z)
• NeW CRFs: Neural Window Fully-connected CRFs for Monocular Depth Estimation [42.062788492398674]
  単一の画像から正確な深度を推定することは、本質的に曖昧で不適切であるため難しい。 CRFの最適化の道をたどって、完全に接続されたCRFの可能性を活用します。 提案手法は,KITTIとNYUv2の両方のデータセットにおいて,すべてのメトリクスのパフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2022-03-03T03:27:20Z)
• Deep Weighted Consensus: Dense correspondence confidence maps for 3D shape registration [8.325327265120283]
  学習可能な重み付きコンセンサスに基づく点雲間の剛性アライメントのための新しいパラダイムを提案する。 我々は、濃密でソフトアライメントマップに由来する信頼度レベルに従って、サンプリングされた一致点から点雲をアライメントできると主張する。 パイプラインは微分可能であり、高いノイズレベルであってもSO(3)の全スペクトルにおいて大きな回転の下で収束する。
  論文  参考訳（メタデータ） (2021-05-06T14:27:59Z)
• Concentric Spherical GNN for 3D Representation Learning [53.45704095146161]
  同心球面特徴写像を学習するための新しい多解畳み込みアーキテクチャを提案する。 当社の階層的アーキテクチャは、球内情報と球間情報の両方を組み込むための代替学習に基づいています。 回転データを用いた3次元分類作業における最先端性能向上へのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-18T19:05:04Z)
• Spin-Weighted Spherical CNNs [58.013031812072356]
  球面領域を離れることなく, 異方性フィルタを効率的に行うことができる新しい球面CNNを提案する。 鍵となる考え方は、重力波の研究において物理学で導入されたスピン重み付き球面関数を考えることである。 本手法は, 球面画像の分類, 3次元形状の分類, 球面パノラマのセマンティックセグメンテーションといったタスクにおいて, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-18T17:57:21Z)
• Region adaptive graph fourier transform for 3d point clouds [51.193111325231165]
  本稿では,3次元点雲特性の圧縮のための領域適応グラフフーリエ変換(RA-GFT)を提案する。 RA-GFTは従来の手法よりも複雑性と性能のトレードオフが優れている。
  論文  参考訳（メタデータ） (2020-03-04T02:47:44Z)
• Quaternion Equivariant Capsule Networks for 3D Point Clouds [58.566467950463306]
  本稿では,3次元回転と翻訳に同値な点雲を処理するための3次元カプセルモジュールを提案する。 カプセル間の動的ルーティングをよく知られたWeiszfeldアルゴリズムに接続する。 オペレーターに基づいて、ポーズから幾何学をアンタングルするカプセルネットワークを構築します。
  論文  参考訳（メタデータ） (2019-12-27T13:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。