論文の概要: Mixed-View Panorama Synthesis using Geospatially Guided Diffusion
- arxiv url: http://arxiv.org/abs/2407.09672v1
- Date: Fri, 12 Jul 2024 20:12:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 21:18:20.487575
- Title: Mixed-View Panorama Synthesis using Geospatially Guided Diffusion
- Title（参考訳）: 地表面誘導拡散を用いた混合ビューパノラマ合成
- Authors: Zhexiao Xiong, Xin Xing, Scott Workman, Subash Khanal, Nathan Jacobs,
- Abstract要約: 混合ビューパノラマ合成の課題を紹介する。
目標は、小さな入力パノラマセットと、その地域の衛星画像が与えられた新しいパノラマを合成することである。
- 参考スコア（独自算出の注目度）: 15.12293324464805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce the task of mixed-view panorama synthesis, where the goal is to synthesize a novel panorama given a small set of input panoramas and a satellite image of the area. This contrasts with previous work which only uses input panoramas (same-view synthesis), or an input satellite image (cross-view synthesis). We argue that the mixed-view setting is the most natural to support panorama synthesis for arbitrary locations worldwide. A critical challenge is that the spatial coverage of panoramas is uneven, with few panoramas available in many regions of the world. We introduce an approach that utilizes diffusion-based modeling and an attention-based architecture for extracting information from all available input imagery. Experimental results demonstrate the effectiveness of our proposed method. In particular, our model can handle scenarios when the available panoramas are sparse or far from the location of the panorama we are attempting to synthesize.
- Abstract（参考訳）: そこでは,入力パノラマの小さなセットと,その領域の衛星画像が与えられた新しいパノラマを合成することが目的である。
これは、入力パノラマ(サムビュー合成)や入力衛星画像(クロスビュー合成)のみを使用する以前の研究とは対照的である。
混合ビュー設定は、世界中の任意の場所でパノラマ合成をサポートするのに最も自然であると主張する。
重要な課題は、パノラマの空間的カバレッジが不均一であり、世界中の多くの地域ではほとんどパノラマが利用できないことである。
本稿では,拡散モデルと注意に基づくアーキテクチャを用いて,利用可能なすべての入力画像から情報を抽出する手法を提案する。
実験の結果,提案手法の有効性が示された。
特に、利用可能なパノラマが、私たちが合成しようとしているパノラマの位置から遠く離れている場合のシナリオを扱うことができる。
関連論文リスト
- DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。
DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:57:02Z) - Pano2Room: Novel View Synthesis from a Single Indoor Panorama [20.262621556667852]
Pano2Roomは、1枚のパノラマ画像から高品質な3D屋内シーンを自動的に再構築するように設計されている。
鍵となるアイデアは、最初に入力パノラマから予備メッシュを構築し、パノラマRGBDインペイントを使用して反復的にこのメッシュを洗練することである。
精巧なメッシュは3次元ガウス散乱場に変換され、収集された擬似ノベルビューで訓練される。
論文 参考訳（メタデータ） (2024-08-21T08:19:12Z) - SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation
for Novel View Synthesis from a Single Image [60.52991173059486]
単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。
提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
論文 参考訳（メタデータ） (2023-09-12T15:33:09Z) - PanoSwin: a Pano-style Swin Transformer for Panorama Understanding [15.115868803355081]
等方射影(ERP)は境界の不連続性と空間歪みを含む。
我々はパノラマ表現をERPで学習するためにPanoSwinを提案する。
各種パノラマ作業における最先端技術に対する実験を行う。
論文 参考訳（メタデータ） (2023-08-28T17:30:14Z) - PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline
Panoramas [54.4948540627471]
広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。
パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。
複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
論文 参考訳（メタデータ） (2023-06-02T13:35:07Z) - HORIZON: High-Resolution Semantically Controlled Panorama Synthesis [105.55531244750019]
パノラマ合成は、仮想世界の中心にユーザーを没入させ、360度の視覚的な風景を再現する。
視覚合成の最近の進歩は、2次元平面画像における意味制御の可能性を解き放ったが、これらの手法のパノラマ合成への直接的応用は歪んだ内容を生み出す。
我々は,高分解能パノラマを生成するための革新的な枠組みを公表し,洗練された球面モデリングによる球面歪みとエッジ不連続性の問題に着目した。
論文 参考訳（メタデータ） (2022-10-10T09:43:26Z) - OmniSyn: Synthesizing 360 Videos with Wide-baseline Panoramas [27.402727637562403]
GoogleストリートビューとBingストリートサイドは、大量のパノラマのコレクションを備えた没入型地図を提供している。
これらのパノラマは、取得した経路に沿って狭い間隔でしか利用できないため、ナビゲーション中に視覚的不連続が生じる。
ワイドベースラインパノラマ間の360度視光合成のための新しいパイプラインであるOmniSynを提案する。
論文 参考訳（メタデータ） (2022-02-17T16:44:17Z) - Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single
Panorama [13.60790015417166]
パララックス対応の新規パノラマビュー合成のための最初の手法であるOmniNeRF(OmniNeRF)を提案する。
仮想カメラの位置が異なる3次元世界と異なる2次元パノラマ座標の間を前後に投影することで、単一のRGB-Dパノラマを増大させることを提案する。
その結果、提案したOmniNeRFは、パララックス効果を示す新しいパノラマビューの説得力のあるレンダリングを実現する。
論文 参考訳（メタデータ） (2021-06-21T05:08:34Z) - Free View Synthesis [100.86844680362196]
本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。
本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
論文 参考訳（メタデータ） (2020-08-12T18:16:08Z) - Example-Guided Image Synthesis across Arbitrary Scenes using Masked
Spatial-Channel Attention and Self-Supervision [83.33283892171562]
実例誘導画像合成は,最近セマンティックラベルマップと模範画像から画像を合成するために試みられている。
本稿では,ラベルマップと意味的に異なる任意のシーンイメージを例に,より困難で汎用的な課題に取り組む。
本稿では,グローバル・ローカルな特徴アライメントと合成のためのエンドツーエンドネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-18T18:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。