論文の概要: HORIZON: A High-Resolution Panorama Synthesis Framework

• arxiv url: http://arxiv.org/abs/2210.04522v1
• Date: Mon, 10 Oct 2022 09:43:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:56:48.265724
• Title: HORIZON: A High-Resolution Panorama Synthesis Framework
• Title（参考訳）: horizon: 高解像度パノラマ合成フレームワーク
• Authors: Kun Yan, Lei Ji, Chenfei Wu, Jian Liang, Ming Zhou, Nan Duan, Shuai Ma
• Abstract要約: 本研究では,高解像度パノラマ画像のための次世代フレームワークを提案する。 コントリビューションには,1)球面モデルによる球面歪みとエッジ不連続問題の緩和,2)画像とテキストのヒントによる意味制御,3)並列デコーディングによる高分解能パノラマを効果的に生成するなどが含まれている。
• 参考スコア（独自算出の注目度）: 99.79555997877458
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Panorama synthesis aims to generate a visual scene with all 360-degree views and enables an immersive virtual world. If the panorama synthesis process can be semantically controlled, we can then build an interactive virtual world and form an unprecedented human-computer interaction experience. Existing panoramic synthesis methods mainly focus on dealing with the inherent challenges brought by panoramas' spherical structure such as the projection distortion and the in-continuity problem when stitching edges, but is hard to effectively control semantics. The recent success of visual synthesis like DALL.E generates promising 2D flat images with semantic control, however, it is hard to directly be applied to panorama synthesis which inevitably generates distorted content. Besides, both of the above methods can not effectively synthesize high-resolution panoramas either because of quality or inference speed. In this work, we propose a new generation framework for high-resolution panorama images. The contributions include 1) alleviating the spherical distortion and edge in-continuity problem through spherical modeling, 2) supporting semantic control through both image and text hints, and 3) effectively generating high-resolution panoramas through parallel decoding. Our experimental results on a large-scale high-resolution Street View dataset validated the superiority of our approach quantitatively and qualitatively.
• Abstract（参考訳）: パノラマ合成は、すべての360度ビューで視覚的なシーンを生成し、没入型仮想世界を可能にすることを目的としている。 パノラマ合成プロセスが意味的に制御できるなら、対話的な仮想世界を構築し、前例のない人間とコンピュータの対話体験を作ることができる。 既存のパノラマ合成法は主に、縁を縫うときの射影歪みや連続性問題といったパノラマ球面構造による固有の課題に対処するが、意味論を効果的に制御することは困難である。 dall.eのような視覚合成の最近の成功は、意味制御で有望な2d平面画像を生成するが、必然的に歪んだコンテンツを生成するパノラマ合成に直接適用することは困難である。 また,これらの手法は,高分解能パノラマを品質や推論速度のために効果的に合成できない。 本研究では,高分解能パノラマ画像のための新世代フレームワークを提案する。 貢献には 1)球面モデルによる球面歪みとエッジ連続性問題を軽減する。 2)画像とテキストのヒントによる意味制御のサポート、及び 3)並列復号による高分解能パノラマの効果的生成 大規模な高解像度ストリートビューデータセットによる実験結果から,我々のアプローチの優位性を定量的に,質的に検証した。

関連論文リスト

• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• DeLiRa: Self-Supervised Depth, Light, and Radiance Fields [32.350984950639656]
  可変ボリュームレンダリングは、3次元再構成と新しいビュー合成のための強力なパラダイムである。 標準的なボリュームレンダリングアプローチは、視点の多様性が限られている場合、縮退したジオメトリーと競合する。 本研究では,多視点測光目標を体積レンダリングのための幾何正則化器として用いることを提案する。
  論文  参考訳（メタデータ） (2023-04-06T00:16:25Z)
• Consistent View Synthesis with Pose-Guided Diffusion Models [51.37925069307313]
  単一の画像から新しいビューを合成することは、多くのバーチャルリアリティーアプリケーションにとって画期的な問題である。 本稿では,ポーズ誘導拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-30T17:59:22Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Semantic View Synthesis [56.47999473206778]
  我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。 まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。 次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
  論文  参考訳（メタデータ） (2020-08-24T17:59:46Z)
• GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis [43.4859484191223]
  近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
  論文  参考訳（メタデータ） (2020-07-05T20:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。