論文の概要: OmniSyn: Synthesizing 360 Videos with Wide-baseline Panoramas

• arxiv url: http://arxiv.org/abs/2202.08752v1
• Date: Thu, 17 Feb 2022 16:44:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 18:25:30.300229
• Title: OmniSyn: Synthesizing 360 Videos with Wide-baseline Panoramas
• Title（参考訳）: OmniSyn:360度ビデオをワイドベースラインパノラマで合成する
• Authors: David Li, Yinda Zhang, Christian H\"ane, Danhang Tang, Amitabh Varshney, Ruofei Du
• Abstract要約: GoogleストリートビューとBingストリートサイドは、大量のパノラマのコレクションを備えた没入型地図を提供している。 これらのパノラマは、取得した経路に沿って狭い間隔でしか利用できないため、ナビゲーション中に視覚的不連続が生じる。 ワイドベースラインパノラマ間の360度視光合成のための新しいパイプラインであるOmniSynを提案する。
• 参考スコア（独自算出の注目度）: 27.402727637562403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Immersive maps such as Google Street View and Bing Streetside provide true-to-life views with a massive collection of panoramas. However, these panoramas are only available at sparse intervals along the path they are taken, resulting in visual discontinuities during navigation. Prior art in view synthesis is usually built upon a set of perspective images, a pair of stereoscopic images, or a monocular image, but barely examines wide-baseline panoramas, which are widely adopted in commercial platforms to optimize bandwidth and storage usage. In this paper, we leverage the unique characteristics of wide-baseline panoramas and present OmniSyn, a novel pipeline for 360{\deg} view synthesis between wide-baseline panoramas. OmniSyn predicts omnidirectional depth maps using a spherical cost volume and a monocular skip connection, renders meshes in 360{\deg} images, and synthesizes intermediate views with a fusion network. We demonstrate the effectiveness of OmniSyn via comprehensive experimental results including comparison with the state-of-the-art methods on CARLA and Matterport datasets, ablation studies, and generalization studies on street views. We envision our work may inspire future research for this unheeded real-world task and eventually produce a smoother experience for navigating immersive maps.
• Abstract（参考訳）: GoogleストリートビューやBingストリートサイドのような没入型マップは、パノラマの膨大なコレクションで現実のビューを提供する。 しかし、これらのパノラマは、撮影される経路に沿ってスパース間隔でのみ利用可能であり、ナビゲーション中に視覚的な不連続が生じる。 視線合成の先行技術は通常、視線画像、立体画像、または単眼画像のセットの上に構築されるが、広帯域パノラマは、帯域幅とストレージ使用量の最適化のために商業的プラットフォームで広く採用されている。 本稿では,ワイドベースラインパノラマのユニークな特徴と,ワイドベースラインパノラマ間の360{\deg}ビュー合成のための新しいパイプラインであるOmniSynについて述べる。 omnisynは球面コストボリュームと単眼スキップ接続を用いて全方位深度マップを予測し、360{\deg}画像にメッシュを描画し、中間ビューと融合ネットワークを合成する。 我々はomnisynの有効性を,carlaおよびmatterportデータセットの最先端手法との比較,アブレーション研究,ストリートビューの一般化など,総合的な実験結果を通じて実証する。 私たちの研究は、この未完成の現実世界のタスクの将来の研究を刺激し、最終的には没入型マップをスムースに操作できることを期待しています。

関連論文リスト

• DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
  本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。 DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:57:02Z)
• VidPanos: Generative Panoramic Videos from Casual Panning Videos [73.77443496436749]
  パノラマ画像ステッチは、カメラの視野を越えて広がるシーンの統一された広角ビューを提供する。 本稿では,カジュアルにキャプチャされたパンニングビデオからパノラマ動画を合成する方法を提案する。 我々のシステムは、人、車、流れる水など、さまざまな場所のシーンにビデオパノラマを作成できる。
  論文  参考訳（メタデータ） (2024-10-17T17:53:24Z)
• Mixed-View Panorama Synthesis using Geospatially Guided Diffusion [15.12293324464805]
  混合ビューパノラマ合成の課題を紹介する。 目標は、小さな入力パノラマセットと、その地域の衛星画像が与えられた新しいパノラマを合成することである。
  論文  参考訳（メタデータ） (2024-07-12T20:12:07Z)
• See360: Novel Panoramic View Interpolation [24.965259708297932]
  See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。 提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
  論文  参考訳（メタデータ） (2024-01-07T09:17:32Z)
• PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas [54.4948540627471]
  広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。 パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。 複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
  論文  参考訳（メタデータ） (2023-06-02T13:35:07Z)
• HORIZON: High-Resolution Semantically Controlled Panorama Synthesis [105.55531244750019]
  パノラマ合成は、仮想世界の中心にユーザーを没入させ、360度の視覚的な風景を再現する。 視覚合成の最近の進歩は、2次元平面画像における意味制御の可能性を解き放ったが、これらの手法のパノラマ合成への直接的応用は歪んだ内容を生み出す。 我々は,高分解能パノラマを生成するための革新的な枠組みを公表し,洗練された球面モデリングによる球面歪みとエッジ不連続性の問題に着目した。
  論文  参考訳（メタデータ） (2022-10-10T09:43:26Z)
• OmniCity: Omnipotent City Understanding with Multi-level and Multi-view Images [72.4144257192959]
  本稿では,マルチレベル・マルチビュー画像から全能都市理解のための新しいデータセットであるOmniCityを提案する。 データセットには100万画素以上の注釈付き画像が含まれており、ニューヨーク市の25万画素のジオロケーションから順に収集されている。 新たなOmniCityデータセットでは,フットプリント抽出や高さ推定,平面/インスタンス/きめ細かなセグメンテーションなど,さまざまなタスクのベンチマークが提供されている。
  論文  参考訳（メタデータ） (2022-08-01T15:19:25Z)
• Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single Panorama [13.60790015417166]
  パララックス対応の新規パノラマビュー合成のための最初の手法であるOmniNeRF(OmniNeRF)を提案する。 仮想カメラの位置が異なる3次元世界と異なる2次元パノラマ座標の間を前後に投影することで、単一のRGB-Dパノラマを増大させることを提案する。 その結果、提案したOmniNeRFは、パララックス効果を示す新しいパノラマビューの説得力のあるレンダリングを実現する。
  論文  参考訳（メタデータ） (2021-06-21T05:08:34Z)
• Deep Multi Depth Panoramas for View Synthesis [70.9125433400375]
  本稿では,複数のRGBD$alpha$panoramasからなる新しいシーン表現であるMultiple Depth Panorama(MDP)を提案する。 MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
  論文  参考訳（メタデータ） (2020-08-04T20:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。