論文の概要: Unsupervised OmniMVS: Efficient Omnidirectional Depth Inference via Establishing Pseudo-Stereo Supervision

• arxiv url: http://arxiv.org/abs/2302.09922v1
• Date: Mon, 20 Feb 2023 11:35:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 15:33:00.507620
• Title: Unsupervised OmniMVS: Efficient Omnidirectional Depth Inference via Establishing Pseudo-Stereo Supervision
• Title（参考訳）: unsupervised omnimvs: pseudo-stereo supervisorの確立による効率の良い全方位深度推定
• Authors: Zisong Chen, Chunyu Lin, Nie Lang, Kang Liao, Yao Zhao
• Abstract要約: 魚眼画像に基づく一方向一方向MVSフレームワークを提案する。 2つの360deg画像は特別なポーズでステレオ対を定式化し、光度一貫性を利用して教師なし制約を確立する。 実験の結果、教師なしのソリューションのパフォーマンスは、最先端の教師付き手法と競合することがわかった。
• 参考スコア（独自算出の注目度）: 39.531970841935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omnidirectional multi-view stereo (MVS) vision is attractive for its ultra-wide field-of-view (FoV), enabling machines to perceive 360{\deg} 3D surroundings. However, the existing solutions require expensive dense depth labels for supervision, making them impractical in real-world applications. In this paper, we propose the first unsupervised omnidirectional MVS framework based on multiple fisheye images. To this end, we project all images to a virtual view center and composite two panoramic images with spherical geometry from two pairs of back-to-back fisheye images. The two 360{\deg} images formulate a stereo pair with a special pose, and the photometric consistency is leveraged to establish the unsupervised constraint, which we term "Pseudo-Stereo Supervision". In addition, we propose Un-OmniMVS, an efficient unsupervised omnidirectional MVS network, to facilitate the inference speed with two efficient components. First, a novel feature extractor with frequency attention is proposed to simultaneously capture the non-local Fourier features and local spatial features, explicitly facilitating the feature representation. Then, a variance-based light cost volume is put forward to reduce the computational complexity. Experiments exhibit that the performance of our unsupervised solution is competitive to that of the state-of-the-art (SoTA) supervised methods with better generalization in real-world data.
• Abstract（参考訳）: 全方位多視点ステレオ(mvs)ビジョンはその超広視野(fov)にとって魅力的であり、マシンは360{\deg} 3d環境を知覚できる。 しかし、既存のソリューションは監督のために高価な深度ラベルを必要とするため、現実のアプリケーションでは実用的ではない。 本稿では,複数の魚眼画像に基づく非教師なし全方位mvsフレームワークを提案する。 そこで我々は,すべての画像を仮想ビューセンターに投影し,2対のバックツーバック魚眼画像から球形状のパノラマ画像を合成する。 2つの360{\deg}画像は、特別なポーズを持つステレオペアを定式化し、光度整合性を利用して教師なしの制約を確立し、これを「擬似ステレオスーパービジョン」と呼ぶ。 さらに,2つの効率的なコンポーネントを用いた推論速度の向上を目的として,効率的な全方位MVSネットワークUn-OmniMVSを提案する。 まず,非局所的なフーリエ特徴と局所的な空間特徴を同時に捉え,特徴表現を明示的に促進する特徴抽出器を提案する。 次に、分散に基づく光コストボリュームをフォワードして計算複雑性を低減する。 実験の結果, 教師なしソリューションの性能は, 実世界のデータにおけるより優れた一般化を伴う最先端(SoTA)教師付き手法と競合することがわかった。

関連論文リスト

• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations [61.448005005426666]
  スマートフォン用レファレンスベーススーパーレゾリューション(RefSR)における2つの課題について考察する。 本稿では,デュアルカメラとマルチカメラのズームで観測した実世界のRefSRに対して,新たな自己教師型学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-03T15:20:30Z)
• MSI-NeRF: Linking Omni-Depth with View Synthesis through Multi-Sphere Image aided Generalizable Neural Radiance Field [1.3162012586770577]
  深層学習全方位深度推定と新しいビュー合成を組み合わせたMSI-NeRFを提案する。 入力画像の特徴抽出とワープにより,コストボリュームとして多面体画像を構築する。 ネットワークには,4つの画像のみを用いて未知のシーンを効率的に再構築する一般化機能がある。
  論文  参考訳（メタデータ） (2024-03-16T07:26:50Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• Multi-Projection Fusion and Refinement Network for Salient Object Detection in 360{\deg} Omnidirectional Image [141.10227079090419]
  我々は,360度全方位画像中の有向物体を検出するために,MPFR-Net(Multi-Projection Fusion and Refinement Network)を提案する。 MPFR-Netは、等角射影像と対応する4つの立方体展開像を入力として使用する。 2つの全方位データセットの実験結果から,提案手法は定性的かつ定量的に,最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-23T14:50:40Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• PanoDepth: A Two-Stage Approach for Monocular Omnidirectional Depth Estimation [11.66493799838823]
  一方向単分子深度推定のための新しいモデルに依存しない2段階パイプラインを提案する。 筆者らのフレームワークであるPanoDepthは、360度画像を入力として、第1段階で1つ以上の合成されたビューを生成し、原画像と合成されたイメージをその後のステレオマッチングステージに供給する。 以上の結果から,PanoDepthは360度単分子深度推定において,最先端のアプローチよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-02-02T23:08:06Z)
• Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single Panorama [13.60790015417166]
  パララックス対応の新規パノラマビュー合成のための最初の手法であるOmniNeRF(OmniNeRF)を提案する。 仮想カメラの位置が異なる3次元世界と異なる2次元パノラマ座標の間を前後に投影することで、単一のRGB-Dパノラマを増大させることを提案する。 その結果、提案したOmniNeRFは、パララックス効果を示す新しいパノラマビューの説得力のあるレンダリングを実現する。
  論文  参考訳（メタデータ） (2021-06-21T05:08:34Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。