論文の概要: Revisiting 360 Depth Estimation with PanoGabor: A New Fusion Perspective

• arxiv url: http://arxiv.org/abs/2408.16227v3
• Date: Mon, 23 Dec 2024 02:00:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:21:26.667907
• Title: Revisiting 360 Depth Estimation with PanoGabor: A New Fusion Perspective
• Title（参考訳）: PanoGaborによる360度深度推定の再検討
• Authors: Zhijie Shen, Chunyu Lin, Lang Nie, Kang Liao,
• Abstract要約: 本稿では,これらの課題に対処するため,指向性歪みを考慮したGabor Fusionフレームワーク(PGFuse)を提案する。 再帰的歪みに対処するために、線形緯度対応の歪み表現法を設計し、カスタマイズされた歪み対応ガボルフィルタを生成する。 ガボル変換の配向感度を考慮すると、この感度を安定させるために球面勾配制約を導入する。
• 参考スコア（独自算出の注目度）: 33.85582959047852
• License:
• Abstract: Depth estimation from a monocular 360 image is important to the perception of the entire 3D environment. However, the inherent distortion and large field of view (FoV) in 360 images pose great challenges for this task. To this end, existing mainstream solutions typically introduce additional perspective-based 360 representations (\textit{e.g.}, Cubemap) to achieve effective feature extraction. Nevertheless, regardless of the introduced representations, they eventually need to be unified into the equirectangular projection (ERP) format for the subsequent depth estimation, which inevitably reintroduces the troublesome distortions. In this work, we propose an oriented distortion-aware Gabor Fusion framework (PGFuse) to address the above challenges. First, we introduce Gabor filters that analyze texture in the frequency domain, thereby extending the receptive fields and enhancing depth cues. To address the reintroduced distortions, we design a linear latitude-aware distortion representation method to generate customized, distortion-aware Gabor filters (PanoGabor filters). Furthermore, we design a channel-wise and spatial-wise unidirectional fusion module (CS-UFM) that integrates the proposed PanoGabor filters to unify other representations into the ERP format, delivering effective and distortion-free features. Considering the orientation sensitivity of the Gabor transform, we introduce a spherical gradient constraint to stabilize this sensitivity. Experimental results on three popular indoor 360 benchmarks demonstrate the superiority of the proposed PGFuse to existing state-of-the-art solutions. Code can be available upon acceptance.
• Abstract（参考訳）: 単眼360度画像からの深度推定は3次元環境全体の知覚に重要である。 しかし、360度画像の固有の歪みと視野(FoV)は、この課題に大きな課題をもたらす。 この目的のために、既存の主流のソリューションは通常、効果的な特徴抽出を達成するために、パースペクティブベースの360表現(\textit{e g }, Cubemap)を導入します。 それでも、導入された表現によらず、後続の深さ推定のために等方射影(ERP)形式に統一する必要があるため、必然的に厄介な歪みが再導入される。 本稿では,これらの課題に対処する指向性歪みを考慮したGabor Fusionフレームワーク(PGFuse)を提案する。 まず,周波数領域のテクスチャを分析するGaborフィルタを導入する。 再帰的歪みに対処するため、線形緯度対応の歪み表現法を設計し、カスタマイズされた歪み対応ガボルフィルタ(PanoGabor filters)を生成する。 さらに,提案したPanoGaborフィルタを統合して,他の表現をERPフォーマットに統合し,有効かつ歪みのない機能を実現する,チャネルワイドかつ空間ワイドな一方向融合モジュール(CS-UFM)を設計する。 ガボル変換の配向感度を考慮すると、この感度を安定させるために球面勾配制約を導入する。 3つの室内360度ベンチマーク実験の結果、提案したPGFuseが既存の最先端ソリューションよりも優れていることが示された。 コードは受理時に利用できる。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• SGFormer: Spherical Geometry Transformer for 360 Depth Estimation [54.13459226728249]
  パノラマ歪みは360度深度推定において大きな課題となる。 本稿では,SGFormer という球面形状変換器を提案し,上記の問題に対処する。 また、様々な解像度で空間構造を補うために、クエリベースの大域的条件位置埋め込みを提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:36:24Z)
• Distortion-aware Transformer in 360{\deg} Salient Object Detection [44.74647420381127]
  本稿では,歪み問題に対処するトランスフォーマーモデルDATFormerを提案する。 360degデータの特徴を利用するために,学習可能な関係行列を提案する。 我々のモデルは既存の2D SOD(salient object detection)法と360 SOD法より優れている。
  論文  参考訳（メタデータ） (2023-08-07T07:28:24Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• OmniFusion: 360 Monocular Depth Estimation via Geometry-Aware Fusion [12.058261716065381]
  球面歪み問題に対処するため,360度単分子深度推定パイプライン,textit OmniFusionを提案する。 我々のパイプラインは、360度画像を歪みの少ない視点パッチ(すなわち、タンジェント画像)に変換して、CNNを介してパッチワイズ予測を取得し、最終的な出力のためにパッチワイズ結果をマージする。 実験の結果,本手法は歪み問題を大幅に軽減し,360度単眼深度推定ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-02T03:19:49Z)
• Distortion-Aware Loop Filtering of Intra 360^o Video Coding with Equirectangular Projection [81.63407194858854]
  等角射影(ERP)フォーマットで投影された360$o$ビデオの符号化性能を向上させるため,歪みを考慮したループフィルタリングモデルを提案する。 提案モジュールは、符号化ユニット(CU)パーティションマスクに基づいてコンテンツ特性を分析し、部分的畳み込みによって処理し、指定された領域を活性化する。
  論文  参考訳（メタデータ） (2022-02-20T12:00:18Z)
• SphereSR: 360{\deg} Image Super-Resolution with Arbitrary Projection via Continuous Spherical Image Representation [27.10716804733828]
  LR 360デジメージから連続的な球面画像表現を生成するための新しいフレームワークを提案する。 具体的には、まず、イコサヘドロンに基づく球面データを表す特徴抽出モジュールを提案する。 次に、球面座標におけるRGB値を予測するために、球面局所暗黙画像関数(SLIIF)を提案する。
  論文  参考訳（メタデータ） (2021-12-13T10:16:51Z)
• Distortion-aware Monocular Depth Estimation for Omnidirectional Images [26.027353545874522]
  室内パノラマにおけるこの問題に対処するために,DAMO(Distortion-Aware Monocular Omnidirectional)深度推定ネットワークを提案する。 まず、全方位画像からキャリブレーションされた意味的特徴を抽出する歪み認識モジュールを提案する。 第二に、球面から投影される領域の不均一分布を扱うために、目的関数に対するプラグアンドプレイ球面対応重み行列を導入する。
  論文  参考訳（メタデータ） (2020-10-18T08:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。