論文の概要: Geometry Fidelity for Spherical Images
- arxiv url: http://arxiv.org/abs/2407.18207v1
- Date: Thu, 25 Jul 2024 17:17:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-26 13:19:20.741591
- Title: Geometry Fidelity for Spherical Images
- Title(参考訳): 球面画像の幾何学的忠実度
- Authors: Anders Christensen, Nooshin Mojab, Khushman Patel, Karan Ahuja, Zeynep Akata, Ole Winther, Mar Gonzalez-Franco, Andrea Colaco,
- Abstract要約: 球面または全方位の画像は、幅広いコンピュータビジョンアプリケーションにアピールする没入的な視覚形式を提供する。
幾何学的制約、すなわちOmnidirectional FID と Discontinuity Score (DS) の2つの量的指標を導入する。
実験では、OmniFID と DS は FID で検出されていない幾何学的忠実度問題を定量化する。
- 参考スコア(独自算出の注目度): 46.12323231603311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spherical or omni-directional images offer an immersive visual format appealing to a wide range of computer vision applications. However, geometric properties of spherical images pose a major challenge for models and metrics designed for ordinary 2D images. Here, we show that direct application of Fr\'echet Inception Distance (FID) is insufficient for quantifying geometric fidelity in spherical images. We introduce two quantitative metrics accounting for geometric constraints, namely Omnidirectional FID (OmniFID) and Discontinuity Score (DS). OmniFID is an extension of FID tailored to additionally capture field-of-view requirements of the spherical format by leveraging cubemap projections. DS is a kernel-based seam alignment score of continuity across borders of 2D representations of spherical images. In experiments, OmniFID and DS quantify geometry fidelity issues that are undetected by FID.
- Abstract(参考訳): 球面または全方位の画像は、幅広いコンピュータビジョンアプリケーションにアピールする没入的な視覚形式を提供する。
しかし、球面画像の幾何学的性質は、通常の2次元画像のために設計されたモデルやメトリクスにとって大きな課題となっている。
ここでは,Fr'echet Inception Distance(FID)の直接適用は球面画像の幾何学的忠実度を定量化するには不十分であることを示す。
幾何学的制約,すなわち,Omnidirectional FID (OmniFID) と Discontinuity Score (DS) の2つの定量的指標を導入する。
OmniFID(オムニFID)は、球面形状のフィールド・オブ・ビュー要件をキューブマップ・プロジェクションを利用して捉えるFIDの拡張である。
DSは、球面画像の2次元表現の境界を越えた連続性のカーネルベースのシームアライメントスコアである。
実験では、OmniFID と DS は FID で検出されていない幾何学的忠実度問題を定量化する。
関連論文リスト
- 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。
拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。
さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-11-07T23:46:41Z) - Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。
GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。
BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
論文 参考訳(メタデータ) (2023-04-06T14:33:05Z) - PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal
Distillation for 3D Shape Recognition [55.38462937452363]
本稿では,教師として事前訓練されたディープイメージエンコーダ,学生としてディープポイントエンコーダを含む多視点クロスモーダル蒸留アーキテクチャを提案する。
複数ビューの視覚的および幾何学的記述子をペアワイズにアライメントすることで、より強力なディープポイントエンコーダを、疲労や複雑なネットワーク修正を伴わずに得ることができる。
論文 参考訳(メタデータ) (2022-07-07T07:23:20Z) - Self-Supervised Image Representation Learning with Geometric Set
Consistency [50.12720780102395]
本稿では,3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。
具体的には、画像ビュー内の特徴整合性を強化するために、コントラスト学習フレームワークに3次元幾何学的整合性を導入する。
論文 参考訳(メタデータ) (2022-03-29T08:57:33Z) - DD-NeRF: Double-Diffusion Neural Radiance Field as a Generalizable
Implicit Body Representation [17.29933848598768]
本稿では,人体形状と外見を任意の入力ビューから表現するための新しい一般化可能な暗黙の場DD-NeRFを提案する。
様々なデータセットの実験により,提案手法は幾何再構成と新規なビュー合成品質の両方において,従来よりも優れた性能を示した。
論文 参考訳(メタデータ) (2021-12-23T07:30:22Z) - Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection [70.71934539556916]
射影モデルを用いて幾何学誘導深度推定を学習し, モノクル3次元物体検出を推し進める。
具体的には,モノクロ3次元物体検出ネットワークにおける2次元および3次元深度予測の投影モデルを用いた原理的幾何式を考案した。
本手法は, 適度なテスト設定において, 余分なデータを2.80%も加えることなく, 最先端単分子法の検出性能を著しく向上させる。
論文 参考訳(メタデータ) (2021-07-29T12:30:39Z) - PanoNet3D: Combining Semantic and Geometric Understanding for LiDARPoint
Cloud Detection [40.907188672454986]
統合型マルチビューフレームワークを用いて,意味的特徴と幾何学的構造の両方を学ぶことを提案する。
意味的特徴と幾何学的特徴を融合することにより,この手法はすべてのカテゴリにおいて最先端のアプローチを大きなマージンで上回っている。
論文 参考訳(メタデータ) (2020-12-17T06:58:34Z) - From Perspective X-ray Imaging to Parallax-Robust Orthographic Stitching [47.44626333193997]
本研究では、フーリエスライス定理を利用してパララックスフリー領域における多重伝送画像からの情報を集約する。
縫合画像のセマンティクスは、周波数を中心に設計された類似度を利用した新しい深層学習戦略を用いて復元される。
我々のパイプラインは、画像の縫合だけでなく、2次元画像平面上で、臨床的に関係のある量の計量測定を可能にするホログラフィック再構成も提供する。
論文 参考訳(メタデータ) (2020-03-05T23:16:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。