論文の概要: SHERPA: Seam-aware Harmonized ERP Adaptation for Open-Domain 360$^\circ$ Panorama Generation
- arxiv url: http://arxiv.org/abs/2606.12213v1
- Date: Wed, 10 Jun 2026 15:29:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.529357
- Title: SHERPA: Seam-aware Harmonized ERP Adaptation for Open-Domain 360$^\circ$ Panorama Generation
- Title(参考訳): SHERPA:オープンドメイン360$^\circ$パノラマ生成のためのシーム対応高調波ERP適応
- Authors: Jungwoon Kang, Jaehun Kim, Yiwon Yu, Hyungyum Jang, Sanghoon Lee, Jongyoo Kim,
- Abstract要約: 本稿では、周波数選択型Circular RoPE、Circular Latent Real/Decoding、画像側FFNアダプタ、デュアルパストレーニングスキームを組み合わせた軽量適応フレームワークSHERPAを提案する。
SHERPAはフォトリアリスティックパノラマドメインとオープンドメイン型プロンプトの両方で360円のパノラマを生成する。
- 参考スコア(独自算出の注目度): 17.982821711826137
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Panoramic imagery is increasingly used in world-generation, games, and simulation, where users may need not only photorealistic scenes but also stylized and non-photorealistic environments. Large-scale text-to-image diffusion and flow models provide broad style and semantic priors for this goal, but planar image training misaligns them with the wrap-around topology and polar regions of $360^\circ$ panoramas represented in equirectangular projection (ERP). We present SHERPA, a lightweight adaptation framework that combines frequency-selective Circular RoPE, Circular Latent Encoding/Decoding, image-side FFN adapters, and a Dual-Path Training Scheme. Circular RoPE replaces only the seam-sensitive high-frequency horizontal RoPE band with integer-periodic harmonics while preserving the pretrained lower-frequency spectrum. The Paired Panorama Path supervises geometry, while the Unpaired Style Path uses self-supervised yaw consistency for target-free stylized prompts. As a result, SHERPA generates $360^\circ$ panoramas across both photorealistic panorama domains and open-domain stylized prompts.
- Abstract(参考訳): パノラマ画像は、フォトリアリスティックなシーンだけでなく、スタイリッシュで非フォトリアリスティックな環境を必要とする世界の世代、ゲーム、シミュレーションでますます使われている。
大規模テキストと画像の拡散とフローモデルは、この目標に対して幅広いスタイルとセマンティックな前提を提供するが、平面画像トレーニングでは、等方射影(ERP)で表される360^\circ$パノラマのラップアラウンドトポロジと極域を誤認している。
本稿では、周波数選択型Circular RoPE、Circular Latent Encoding/Decoding、画像側FFNアダプタ、デュアルパストレーニングスキームを組み合わせた軽量適応フレームワークSHERPAを提案する。
円形のRoPEは、シーム感度の高い高周波数水平のRoPEバンドのみを整数周期の高調波に置き換え、予め訓練された低周波スペクトルを保存する。
ペアード・パノラマ・パスは幾何学を監督し、アンペアド・スタイル・パスは標的のないスタイルのプロンプトに自己監督されたヨー一貫性を使用する。
その結果、SHERPAは、フォトリアリスティックなパノラマドメインとオープンドメインのスタイル化されたプロンプトの両方に360^\circ$パノラマを生成する。
関連論文リスト
- Gimbal360: Differentiable Auto-Leveling for Canonicalized $360^\circ$ Panoramic Image Completion [45.987786151971335]
拡散モデルは2D出力で優れていますが、パノラマ画像から360ドル(約3万3000円)のパノラマ画像に拡張することは難しいです。
我々は、視線観測と球状パノラマを明示的に橋渡しする、原則化されたフレームワークであるGimbal360を提示する。
幾何的および位相的事前条件を明示的に標準化することで,Gimbal360は構造的に整合性のある360円のシーンコンプリートにおいて,最先端のパフォーマンスを実現することができることを示す。
論文 参考訳(メタデータ) (2026-03-24T13:27:49Z) - SphereDiff: Tuning-free Omnidirectional Panoramic Image and Video Generation via Spherical Latent Representation [31.305851707485967]
そこで我々はSphereDiffを紹介した。これはシームレスな360度パノラマ画像とビデオ生成のための新しいアプローチである。
我々は,多次元拡散を球状潜在空間に拡張し,事前学習した拡散モデルの直接利用を可能にする球状潜在サンプリング法を提案する。
提案手法は,高忠実度を維持しながら360度パノラマコンテンツを生成する既存手法よりも優れており,没入型AR/VRアプリケーションのための堅牢なソリューションとなっている。
論文 参考訳(メタデータ) (2025-04-19T19:59:11Z) - Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images [52.48351378615057]
textitSplatter-360は、ワイドベースラインパノラマ画像を扱うための、エンドツーエンドの汎用3DGSフレームワークである。
パノラマ画像に固有の歪みを緩和する3D対応複投影エンコーダを提案する。
これにより、堅牢な3D対応機能表現とリアルタイムレンダリングが可能になる。
論文 参考訳(メタデータ) (2024-12-09T06:58:31Z) - PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。
本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
論文 参考訳(メタデータ) (2023-10-25T17:59:01Z) - PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline
Panoramas [54.4948540627471]
広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。
パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。
複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
論文 参考訳(メタデータ) (2023-06-02T13:35:07Z) - Behind Every Domain There is a Shift: Adapting Distortion-aware Vision Transformers for Panoramic Semantic Segmentation [73.48323921632506]
パノラマ的セマンティックセマンティックセグメンテーションは2つの重要な課題により未探索である。
まず、変形性パッチ埋め込み(DPE)と変形性(DMLPv2)モジュールを備えたパノラマセマンティックトランス4PASS+を改良したトランスフォーマーを提案する。
第2に、教師なしドメイン適応パノラマセグメンテーションのための擬似ラベル修正により、Mutual Prototypeal Adaptation(MPA)戦略を強化する。
第3に、Pinhole-to-Panoramic(Pin2Pan)適応とは別に、9,080パノラマ画像を用いた新しいデータセット(SynPASS)を作成します。
論文 参考訳(メタデータ) (2022-07-25T00:42:38Z) - Bending Reality: Distortion-aware Transformers for Adapting to Panoramic
Semantic Segmentation [26.09267582056609]
大量の高価なピクセル単位のアノテーションは、堅牢なパノラマセグメンテーションモデルの成功に不可欠である。
360度パノラマにおける歪みと画像-特徴分布は、アノテーションに富んだピンホールドメインからの転写を阻害する。
変形性パッチ埋め込み(DPE)および変形性変形性(DMLP)コンポーネントにおける物体変形とパノラマ画像歪みを学習する。
最後に、マルチスケールのプロトタイプ機能を生成することにより、ピンホールとパノラマの特徴埋め込みで共有セマンティクスを結合する。
論文 参考訳(メタデータ) (2022-03-02T23:00:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。