論文の概要: See360: Novel Panoramic View Interpolation
- arxiv url: http://arxiv.org/abs/2401.03431v1
- Date: Sun, 7 Jan 2024 09:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 18:47:31.599937
- Title: See360: Novel Panoramic View Interpolation
- Title（参考訳）: See360: 新しいパノラマビュー補間
- Authors: Zhi-Song Liu, Marie-Paule Cani, Wan-Chi Siu
- Abstract要約: See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。
提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
- 参考スコア（独自算出の注目度）: 24.965259708297932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present See360, which is a versatile and efficient framework for 360
panoramic view interpolation using latent space viewpoint estimation. Most of
the existing view rendering approaches only focus on indoor or synthetic 3D
environments and render new views of small objects. In contrast, we suggest to
tackle camera-centered view synthesis as a 2D affine transformation without
using point clouds or depth maps, which enables an effective 360? panoramic
scene exploration. Given a pair of reference images, the See360 model learns to
render novel views by a proposed novel Multi-Scale Affine Transformer (MSAT),
enabling the coarse-to-fine feature rendering. We also propose a Conditional
Latent space AutoEncoder (C-LAE) to achieve view interpolation at any arbitrary
angle. To show the versatility of our method, we introduce four training
datasets, namely UrbanCity360, Archinterior360, HungHom360 and Lab360, which
are collected from indoor and outdoor environments for both real and synthetic
rendering. Experimental results show that the proposed method is generic enough
to achieve real-time rendering of arbitrary views for all four datasets. In
addition, our See360 model can be applied to view synthesis in the wild: with
only a short extra training time (approximately 10 mins), and is able to render
unknown real-world scenes. The superior performance of See360 opens up a
promising direction for camera-centered view rendering and 360 panoramic view
interpolation.
- Abstract（参考訳）: 潜在空間視点推定を用いた360パノラマビュー補間のための汎用的で効率的なフレームワークであるSee360を提案する。
既存のビューレンダリングアプローチのほとんどは、屋内または合成3d環境のみに焦点を当て、小さなオブジェクトの新しいビューをレンダリングする。
対照的に、点雲や深度マップを使わずに2次元アフィン変換としてカメラ中心のビュー合成に取り組むことを提案する。
パノラマシーンの探索。
参照画像のペアを与えられたSee360モデルは、提案された新しいマルチスケールアフィン変換器(MSAT)によって新しいビューのレンダリングを学習し、粗い特徴のレンダリングを可能にする。
また,任意の角度で視線補間を行うための条件付きラテント空間オートエンコーダ(C-LAE)を提案する。
本手法の汎用性を示すために,本手法では,実演と合成の両面で屋内および屋外の環境から収集される,urbancity360,archinterior360,hanghom360,lab360の4つのトレーニングデータセットを導入する。
実験の結果,提案手法は4つのデータセットの任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を示した。
さらに、私たちのSee360モデルは、短いトレーニング時間(約10分)だけで、未知の現実世界のシーンをレンダリングできる、野生での合成を見るために応用できます。
See360の優れた性能は、カメラ中心のビューレンダリングと360パノラマビュー補間に期待できる方向を開く。
関連論文リスト
- MVSplat360: Feed-Forward 360 Scene Synthesis from Sparse Views [90.26609689682876]
MVSplat360は多様な現実世界シーンの360degノベルビュー合成(NVS)のためのフィードフォワードアプローチであり、スパース観測のみを用いて紹介する。
この設定は、入力ビュー間の重複が最小限であり、提供された視覚情報が不十分であるために本質的に不適切である。
私たちのモデルは、エンドツーエンドのトレーニングが可能で、5つのスパースなインプットビューで任意のビューのレンダリングをサポートしています。
論文 参考訳（メタデータ） (2024-11-07T17:59:31Z) - SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。
提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。
SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
論文 参考訳（メタデータ） (2024-08-25T02:56:26Z) - Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。
SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。
提案手法は,9つの入力ビューから360度映像全体を生成する。
論文 参考訳（メタデータ） (2024-05-26T11:01:39Z) - DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
テキストから3D 360$circ$のシーン生成パイプラインを提示する。
提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。
当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
論文 参考訳（メタデータ） (2024-04-10T10:46:59Z) - MSI-NeRF: Linking Omni-Depth with View Synthesis through Multi-Sphere Image aided Generalizable Neural Radiance Field [1.3162012586770577]
深層学習全方位深度推定と新しいビュー合成を組み合わせたMSI-NeRFを提案する。
入力画像の特徴抽出とワープにより,コストボリュームとして多面体画像を構築する。
ネットワークには,4つの画像のみを用いて未知のシーンを効率的に再構築する一般化機能がある。
論文 参考訳（メタデータ） (2024-03-16T07:26:50Z) - NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。
NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。
我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
論文 参考訳（メタデータ） (2023-08-24T17:59:50Z) - 360VOT: A New Benchmark Dataset for Omnidirectional Visual Object
Tracking [10.87309734945868]
360deg画像は、安定かつ長期のシーン知覚にとって重要な全方位視野を提供することができる。
本稿では,視覚的物体追跡のための360度デグ画像について検討し,歪みによる新たな課題について考察する。
今後の研究を促進するため,新しい大規模全方位追跡ベンチマークである360VOTを提案する。
論文 参考訳（メタデータ） (2023-07-27T05:32:01Z) - Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single
Panorama [13.60790015417166]
パララックス対応の新規パノラマビュー合成のための最初の手法であるOmniNeRF(OmniNeRF)を提案する。
仮想カメラの位置が異なる3次元世界と異なる2次元パノラマ座標の間を前後に投影することで、単一のRGB-Dパノラマを増大させることを提案する。
その結果、提案したOmniNeRFは、パララックス効果を示す新しいパノラマビューの説得力のあるレンダリングを実現する。
論文 参考訳（メタデータ） (2021-06-21T05:08:34Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳（メタデータ） (2021-02-25T18:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。