論文の概要: See360: Novel Panoramic View Interpolation
- arxiv url: http://arxiv.org/abs/2401.03431v1
- Date: Sun, 7 Jan 2024 09:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 18:47:31.599937
- Title: See360: Novel Panoramic View Interpolation
- Title(参考訳): See360: 新しいパノラマビュー補間
- Authors: Zhi-Song Liu, Marie-Paule Cani, Wan-Chi Siu
- Abstract要約: See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。
提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
- 参考スコア(独自算出の注目度): 24.965259708297932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present See360, which is a versatile and efficient framework for 360
panoramic view interpolation using latent space viewpoint estimation. Most of
the existing view rendering approaches only focus on indoor or synthetic 3D
environments and render new views of small objects. In contrast, we suggest to
tackle camera-centered view synthesis as a 2D affine transformation without
using point clouds or depth maps, which enables an effective 360? panoramic
scene exploration. Given a pair of reference images, the See360 model learns to
render novel views by a proposed novel Multi-Scale Affine Transformer (MSAT),
enabling the coarse-to-fine feature rendering. We also propose a Conditional
Latent space AutoEncoder (C-LAE) to achieve view interpolation at any arbitrary
angle. To show the versatility of our method, we introduce four training
datasets, namely UrbanCity360, Archinterior360, HungHom360 and Lab360, which
are collected from indoor and outdoor environments for both real and synthetic
rendering. Experimental results show that the proposed method is generic enough
to achieve real-time rendering of arbitrary views for all four datasets. In
addition, our See360 model can be applied to view synthesis in the wild: with
only a short extra training time (approximately 10 mins), and is able to render
unknown real-world scenes. The superior performance of See360 opens up a
promising direction for camera-centered view rendering and 360 panoramic view
interpolation.
- Abstract(参考訳): 潜在空間視点推定を用いた360パノラマビュー補間のための汎用的で効率的なフレームワークであるSee360を提案する。
既存のビューレンダリングアプローチのほとんどは、屋内または合成3d環境のみに焦点を当て、小さなオブジェクトの新しいビューをレンダリングする。
対照的に、点雲や深度マップを使わずに2次元アフィン変換としてカメラ中心のビュー合成に取り組むことを提案する。
パノラマシーンの探索。
参照画像のペアを与えられたSee360モデルは、提案された新しいマルチスケールアフィン変換器(MSAT)によって新しいビューのレンダリングを学習し、粗い特徴のレンダリングを可能にする。
また,任意の角度で視線補間を行うための条件付きラテント空間オートエンコーダ(C-LAE)を提案する。
本手法の汎用性を示すために,本手法では,実演と合成の両面で屋内および屋外の環境から収集される,urbancity360,archinterior360,hanghom360,lab360の4つのトレーニングデータセットを導入する。
実験の結果,提案手法は4つのデータセットの任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を示した。
さらに、私たちのSee360モデルは、短いトレーニング時間(約10分)だけで、未知の現実世界のシーンをレンダリングできる、野生での合成を見るために応用できます。
See360の優れた性能は、カメラ中心のビューレンダリングと360パノラマビュー補間に期待できる方向を開く。
関連論文リスト
- Dream360: Diverse and Immersive Outdoor Virtual Scene Creation via
Transformer-Based 360 Image Outpainting [33.95741744421632]
本研究では,Dream360と呼ばれる変換器を用いた360度画像出力フレームワークを提案する。
ユーザが選択したビューポートから多種多様で高忠実で高解像度のパノラマを生成することができる。
私たちのDream360は、既存の方法よりもFrechet Inception Distance(FID)スコアが大幅に低く、視覚的忠実度が向上します。
論文 参考訳(メタデータ) (2024-01-19T09:01:20Z) - PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。
本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
論文 参考訳(メタデータ) (2023-10-25T17:59:01Z) - NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。
NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。
我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
論文 参考訳(メタデータ) (2023-08-24T17:59:50Z) - 360VOT: A New Benchmark Dataset for Omnidirectional Visual Object
Tracking [10.87309734945868]
360deg画像は、安定かつ長期のシーン知覚にとって重要な全方位視野を提供することができる。
本稿では,視覚的物体追跡のための360度デグ画像について検討し,歪みによる新たな課題について考察する。
今後の研究を促進するため,新しい大規模全方位追跡ベンチマークである360VOTを提案する。
論文 参考訳(メタデータ) (2023-07-27T05:32:01Z) - PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline
Panoramas [54.4948540627471]
広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。
パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。
複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
論文 参考訳(メタデータ) (2023-06-02T13:35:07Z) - NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with
360{\deg} Views [77.93662205673297]
本研究では,1枚の画像を3Dオブジェクトに持ち上げるという課題について検討する。
所定の参照画像とよく一致する360度ビューを持つ可視3Dオブジェクトを生成する能力を示す。
本稿では,深度を考慮した放射率表現を用いたニューラルLift-360という新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-29T17:59:06Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - OmniSyn: Synthesizing 360 Videos with Wide-baseline Panoramas [27.402727637562403]
GoogleストリートビューとBingストリートサイドは、大量のパノラマのコレクションを備えた没入型地図を提供している。
これらのパノラマは、取得した経路に沿って狭い間隔でしか利用できないため、ナビゲーション中に視覚的不連続が生じる。
ワイドベースラインパノラマ間の360度視光合成のための新しいパイプラインであるOmniSynを提案する。
論文 参考訳(メタデータ) (2022-02-17T16:44:17Z) - Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single
Panorama [13.60790015417166]
パララックス対応の新規パノラマビュー合成のための最初の手法であるOmniNeRF(OmniNeRF)を提案する。
仮想カメラの位置が異なる3次元世界と異なる2次元パノラマ座標の間を前後に投影することで、単一のRGB-Dパノラマを増大させることを提案する。
その結果、提案したOmniNeRFは、パララックス効果を示す新しいパノラマビューの説得力のあるレンダリングを実現する。
論文 参考訳(メタデータ) (2021-06-21T05:08:34Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳(メタデータ) (2021-02-25T18:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。