論文の概要: Dream360: Diverse and Immersive Outdoor Virtual Scene Creation via Transformer-Based 360 Image Outpainting

• arxiv url: http://arxiv.org/abs/2401.10564v1
• Date: Fri, 19 Jan 2024 09:01:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 16:36:06.821671
• Title: Dream360: Diverse and Immersive Outdoor Virtual Scene Creation via Transformer-Based 360 Image Outpainting
• Title（参考訳）: Dream360: トランスフォーマーをベースとした360度画像出力による屋外仮想シーン作成
• Authors: Hao Ai, Zidong Cao, Haonan Lu, Chen Chen, Jian Ma, Pengyuan Zhou, Tae-Kyun Kim, Pan Hui, and Lin Wang
• Abstract要約: 本研究では,Dream360と呼ばれる変換器を用いた360度画像出力フレームワークを提案する。 ユーザが選択したビューポートから多種多様で高忠実で高解像度のパノラマを生成することができる。 私たちのDream360は、既存の方法よりもFrechet Inception Distance(FID)スコアが大幅に低く、視覚的忠実度が向上します。
• 参考スコア（独自算出の注目度）: 33.95741744421632
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: 360 images, with a field-of-view (FoV) of 180x360, provide immersive and realistic environments for emerging virtual reality (VR) applications, such as virtual tourism, where users desire to create diverse panoramic scenes from a narrow FoV photo they take from a viewpoint via portable devices. It thus brings us to a technical challenge: `How to allow the users to freely create diverse and immersive virtual scenes from a narrow FoV image with a specified viewport?' To this end, we propose a transformer-based 360 image outpainting framework called Dream360, which can generate diverse, high-fidelity, and high-resolution panoramas from user-selected viewports, considering the spherical properties of 360 images. Compared with existing methods, e.g., [3], which primarily focus on inputs with rectangular masks and central locations while overlooking the spherical property of 360 images, our Dream360 offers higher outpainting flexibility and fidelity based on the spherical representation. Dream360 comprises two key learning stages: (I) codebook-based panorama outpainting via Spherical-VQGAN (S-VQGAN), and (II) frequency-aware refinement with a novel frequency-aware consistency loss. Specifically, S-VQGAN learns a sphere-specific codebook from spherical harmonic (SH) values, providing a better representation of spherical data distribution for scene modeling. The frequency-aware refinement matches the resolution and further improves the semantic consistency and visual fidelity of the generated results. Our Dream360 achieves significantly lower Frechet Inception Distance (FID) scores and better visual fidelity than existing methods. We also conducted a user study involving 15 participants to interactively evaluate the quality of the generated results in VR, demonstrating the flexibility and superiority of our Dream360 framework.
• Abstract（参考訳）: 360画像は、視野180x360のfov(field-of-view)で、仮想観光など、新しい仮想現実(vr)アプリケーションのための没入的かつ現実的な環境を提供する。 これによって,“ユーザが特定のビューポートを備えた狭義のfovイメージから,多様で没入的な仮想シーンを自由に作成できる方法”という,技術的な課題が生まれました。 そこで本稿では,360画像の球面特性を考慮し,ユーザが選択したビューポートから多様で高精細で高精細なパノラマを生成できるトランスフォーマベースの360画像描画フレームワークdream360を提案する。 例えば、360度画像の球面特性を見渡しながら、主に長方形のマスクや中央位置の入力に焦点を当てた既存の方法と比較すると、ドリーム360は、球面表現に基づいて、より高い彩色柔軟性と忠実度を提供する。 Dream360は、 (I) コードブックベースのパノラマがSpherical-VQGAN (S-VQGAN) を介して描画され、 (II) 周波数認識による新しい整合性損失による改善である。 具体的には、S-VQGANは、球面調和(SH)値から球面固有のコードブックを学習し、シーンモデリングのための球面データ分布のより良い表現を提供する。 周波数認識補正は分解能と一致し、生成した結果のセマンティック一貫性と視覚的忠実度をさらに向上する。 私たちのdream360はfrechetインセプション距離(fid)スコアを従来の方法よりも大幅に低くし、視覚的忠実度も向上します。 また、参加者15名を対象に、VRにおける生成結果の品質をインタラクティブに評価し、Dream360フレームワークの柔軟性と優位性を実証した。

関連論文リスト

• GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
  GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。 提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
  論文  参考訳（メタデータ） (2024-01-18T18:56:34Z)
• See360: Novel Panoramic View Interpolation [24.965259708297932]
  See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。 提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
  論文  参考訳（メタデータ） (2024-01-07T09:17:32Z)
• VR-NeRF: High-Fidelity Virtualized Walkable Spaces [55.51127858816994]
  本稿では,高忠実度キャプチャ,モデル再構成,リアルタイムレンダリングのためのエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2023-11-05T02:03:14Z)
• Autoregressive Omni-Aware Outpainting for Open-Vocabulary 360-Degree Image Generation [36.45222068699805]
  AOG-Netは、NFoVとテキストガイダンスを併用または個別に、不完全な画像を段階的に描画することで、360度画像生成のために提案される。 各自己回帰ステップにおいて、アウトペイントガイダンスを定式化するために、グローバルローカルコンディショニング機構が考案された。 室内と屋外の両方でよく使用される2つの360度画像データセットに関する総合実験により,提案手法の最先端性能が実証された。
  論文  参考訳（メタデータ） (2023-09-07T03:22:59Z)
• NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
  屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。 NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。 我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-08-24T17:59:50Z)
• NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with 360{\deg} Views [77.93662205673297]
  本研究では,1枚の画像を3Dオブジェクトに持ち上げるという課題について検討する。 所定の参照画像とよく一致する360度ビューを持つ可視3Dオブジェクトを生成する能力を示す。 本稿では,深度を考慮した放射率表現を用いたニューラルLift-360という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-29T17:59:06Z)
• Immersive Neural Graphics Primitives [13.48024951446282]
  我々は没入型VRのシーンをレンダリングできるNeRFベースのフレームワークを提示し、評価する。 我々のアプローチでは、毎秒30フレームのフレームレートで、1眼あたり1280×720ピクセルの解像度が得られる。
  論文  参考訳（メタデータ） (2022-11-24T09:33:38Z)
• MatryODShka: Real-time 6DoF Video View Synthesis using Multi-Sphere Images [26.899767088485184]
  ステレオ360デグ(全方向ステレオ)画像を6DoFレンダリングのための層状多球面画像表現に変換する手法を提案する。 これにより、ビューアの快適性が大幅に向上し、最新のGPUハードウェア上でリアルタイムで推論およびレンダリングを行うことができる。
  論文  参考訳（メタデータ） (2020-08-14T18:33:05Z)
• Perceptual Quality Assessment of Omnidirectional Images as Moving Camera Videos [49.217528156417906]
  ユーザの視聴行動やパノラマの知覚的品質を決定するには,2種類のVR視聴条件が不可欠である。 まず、異なる視聴条件下での異なるユーザの視聴行動を用いて、一方向の画像を複数のビデオ表現に変換する。 次に、高度な2次元フルレファレンスビデオ品質モデルを活用して、知覚された品質を計算する。
  論文  参考訳（メタデータ） (2020-05-21T10:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。