論文の概要: SphereFusion: Efficient Panorama Depth Estimation via Gated Fusion
- arxiv url: http://arxiv.org/abs/2502.05859v1
- Date: Sun, 09 Feb 2025 11:36:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:32:02.892227
- Title: SphereFusion: Efficient Panorama Depth Estimation via Gated Fusion
- Title（参考訳）: SphereFusion:Gated Fusionによる効率の良いパノラマ深さ推定
- Authors: Qingsong Yan, Qiang Wang, Kaiyong Zhao, Jie Chen, Bo Li, Xiaowen Chu, Fei Deng,
- Abstract要約: 提案するSphereFusionは,様々なプロジェクション手法の強みを組み合わせたエンドツーエンドフレームワークである。
具体的には、SphereFusionは2次元画像畳み込みとメッシュ演算を使用して、同形および球面投影領域のパノラマ画像から2種類の特徴を抽出する。
SphereFusionは,512$times$1024パノラマ画像上で17msで高速な推論速度を示しながら,他の最先端手法と競合する結果が得られることを示す。
- 参考スコア（独自算出の注目度）: 21.97835451388508
- License:
- Abstract: Due to the rapid development of panorama cameras, the task of estimating panorama depth has attracted significant attention from the computer vision community, especially in applications such as robot sensing and autonomous driving. However, existing methods relying on different projection formats often encounter challenges, either struggling with distortion and discontinuity in the case of equirectangular, cubemap, and tangent projections, or experiencing a loss of texture details with the spherical projection. To tackle these concerns, we present SphereFusion, an end-to-end framework that combines the strengths of various projection methods. Specifically, SphereFusion initially employs 2D image convolution and mesh operations to extract two distinct types of features from the panorama image in both equirectangular and spherical projection domains. These features are then projected onto the spherical domain, where a gate fusion module selects the most reliable features for fusion. Finally, SphereFusion estimates panorama depth within the spherical domain. Meanwhile, SphereFusion employs a cache strategy to improve the efficiency of mesh operation. Extensive experiments on three public panorama datasets demonstrate that SphereFusion achieves competitive results with other state-of-the-art methods, while presenting the fastest inference speed at only 17 ms on a 512$\times$1024 panorama image.
- Abstract（参考訳）: パノラマカメラの急速な開発により、パノラマ深度推定のタスクはコンピュータビジョンコミュニティ、特にロボットセンシングや自律運転などの応用において大きな注目を集めている。
しかし、既存の手法は異なる射影形式に依存しており、等方写像、立方写像、接射の場合の歪みや不連続性に苦しむか、球面射影によるテクスチャの詳細の喪失に遭遇することが多い。
これらの問題に対処するため,様々な投影手法の強みを組み合わせたエンドツーエンドフレームワークであるSphereFusionを提案する。
具体的には、SphereFusionは当初、2D画像畳み込みとメッシュ演算を使用して、正方形領域と球面領域の両方でパノラマ画像から2種類の特徴を抽出した。
これらの特徴は球面領域に投影され、ゲート融合モジュールは融合の最も信頼できる特徴を選択する。
最後に、SphereFusionは球状領域内のパノラマ深さを推定する。
一方、SphereFusionは、メッシュ操作の効率を改善するためにキャッシュ戦略を採用している。
3つの公開パノラマデータセットの大規模な実験により、SphereFusionは他の最先端の手法と競合する結果が得られる一方で、512$\times$1024パノラマ画像上では17ミリ秒で高速な推論速度を示す。
関連論文リスト
- DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。
DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:57:02Z) - SphereDiffusion: Spherical Geometry-Aware Distortion Resilient Diffusion Model [63.685132323224124]
制御可能な球状パノラマ画像生成は、様々な領域でかなりの応用可能性を持っている。
本稿では,これらの課題に対処するために,SphereDiffusionの新しいフレームワークを提案する。
Structured3Dデータセットの実験では、SphereDiffusionは制御可能な球面画像生成の品質を大幅に改善し、平均して約35%のFIDを相対的に削減している。
論文 参考訳（メタデータ） (2024-03-15T06:26:46Z) - Curved Diffusion: A Generative Model With Optical Geometry Control [56.24220665691974]
最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。
本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-29T13:06:48Z) - Multi-Projection Fusion and Refinement Network for Salient Object
Detection in 360{\deg} Omnidirectional Image [141.10227079090419]
我々は,360度全方位画像中の有向物体を検出するために,MPFR-Net(Multi-Projection Fusion and Refinement Network)を提案する。
MPFR-Netは、等角射影像と対応する4つの立方体展開像を入力として使用する。
2つの全方位データセットの実験結果から,提案手法は定性的かつ定量的に,最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-12-23T14:50:40Z) - BiFuse++: Self-supervised and Efficient Bi-projection Fusion for 360
Depth Estimation [59.11106101006008]
両射影融合と自己学習シナリオの組み合わせを検討するために,BiFuse++を提案する。
そこで我々は,BiFuseの性能向上のために,新たな融合モジュールとコントラスト対応測光損失を提案する。
論文 参考訳（メタデータ） (2022-09-07T06:24:21Z) - SphereDepth: Panorama Depth Estimation from Spherical Domain [17.98608948955211]
本稿では,新しいパノラマ深度推定法であるSphereDepthを提案する。
プロジェクション前処理なしで球面メッシュ上の深さを直接予測する。
パノラマ深度推定の最先端手法と同等の結果が得られる。
論文 参考訳（メタデータ） (2022-08-29T16:50:19Z) - PanoFormer: Panorama Transformer for Indoor 360{\deg} Depth Estimation [35.698249161263966]
畳み込みニューラルネットワーク(CNN)に基づく既存のパノラマ深さ推定手法は、パノラマ歪みの除去に重点を置いている。
本稿では,パノラマ画像の深さを推定するパノラマ変換器を提案する。
特に、球面接領域のパッチをトークンに分割し、パノラマ歪みの負の効果を低減する。
論文 参考訳（メタデータ） (2022-03-17T12:19:43Z) - ACDNet: Adaptively Combined Dilated Convolution for Monocular Panorama
Depth Estimation [9.670696363730329]
本研究では,単眼パノラマ画像の深度マップを予測するために,適応的に組み合わせた拡張畳み込みに基づくACDNetを提案する。
仮想および実世界の3つのデータセットで深度推定実験を行い,提案したACDNetが現在最先端(SOTA)手法を大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2021-12-29T08:04:19Z) - EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-21T10:47:26Z) - UniFuse: Unidirectional Fusion for 360$^{\circ}$ Panorama Depth
Estimation [11.680475784102308]
本稿では,2つのプロジェクションから特徴を融合する新しいフレームワークを提案する。
提案した融合戦略とモジュールの有効性を実験により検証し、4つの一般的なデータセット上で最先端の性能を達成する。
論文 参考訳（メタデータ） (2021-02-06T10:01:09Z) - Distortion-aware Monocular Depth Estimation for Omnidirectional Images [26.027353545874522]
室内パノラマにおけるこの問題に対処するために,DAMO(Distortion-Aware Monocular Omnidirectional)深度推定ネットワークを提案する。
まず、全方位画像からキャリブレーションされた意味的特徴を抽出する歪み認識モジュールを提案する。
第二に、球面から投影される領域の不均一分布を扱うために、目的関数に対するプラグアンドプレイ球面対応重み行列を導入する。
論文 参考訳（メタデータ） (2020-10-18T08:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。