論文の概要: DiT360: High-Fidelity Panoramic Image Generation via Hybrid Training
- arxiv url: http://arxiv.org/abs/2510.11712v1
- Date: Mon, 13 Oct 2025 17:59:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:30.504389
- Title: DiT360: High-Fidelity Panoramic Image Generation via Hybrid Training
- Title(参考訳): DiT360:ハイブリッドトレーニングによる高忠実パノラマ画像生成
- Authors: Haoran Feng, Dizhe Zhang, Xiangtai Li, Bo Du, Lu Qi,
- Abstract要約: DiT360は、パノラマ画像生成のための視点とパノラマデータを用いたハイブリッドトレーニングを行う、DiTベースのフレームワークである。
提案手法は,11の定量的指標間で境界の整合性と画像の忠実度を向上する。
- 参考スコア(独自算出の注目度): 76.82789568988557
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this work, we propose DiT360, a DiT-based framework that performs hybrid training on perspective and panoramic data for panoramic image generation. For the issues of maintaining geometric fidelity and photorealism in generation quality, we attribute the main reason to the lack of large-scale, high-quality, real-world panoramic data, where such a data-centric view differs from prior methods that focus on model design. Basically, DiT360 has several key modules for inter-domain transformation and intra-domain augmentation, applied at both the pre-VAE image level and the post-VAE token level. At the image level, we incorporate cross-domain knowledge through perspective image guidance and panoramic refinement, which enhance perceptual quality while regularizing diversity and photorealism. At the token level, hybrid supervision is applied across multiple modules, which include circular padding for boundary continuity, yaw loss for rotational robustness, and cube loss for distortion awareness. Extensive experiments on text-to-panorama, inpainting, and outpainting tasks demonstrate that our method achieves better boundary consistency and image fidelity across eleven quantitative metrics. Our code is available at https://github.com/Insta360-Research-Team/DiT360.
- Abstract(参考訳): 本研究では,パノラマ画像生成のための視点とパノラマデータを用いたハイブリッドトレーニングを行うDiT360を提案する。
幾何学的忠実さとフォトリアリズムを世代品質で維持する問題は、大規模で高品質なパノラマデータがないことが主な原因であり、そのようなデータ中心の視点がモデル設計に焦点を絞る従来の方法と異なる。
基本的に、DiT360はドメイン間変換とドメイン内拡張のためのいくつかの重要なモジュールを持ち、VAE前の画像レベルとVAE後のトークンレベルの両方に適用される。
画像レベルでは、視点画像誘導とパノラマ改善を通じてドメイン間知識を取り入れ、多様性とフォトリアリズムを規則化しながら知覚品質を高める。
トークンレベルでは、境界連続性のための円形パディング、回転ロバスト性のためのヨーロス、歪み認識のためのキューブロスを含む複数のモジュールにわたってハイブリッド監視が適用される。
テキスト・トゥ・パノラマ, インペインティング, アウトペインティングタスクに関する広範囲な実験により, 提案手法は11の定量的指標において, 境界の整合性および画像の忠実性を向上することを示した。
私たちのコードはhttps://github.com/Insta360-Research-Team/DiT360で利用可能です。
関連論文リスト
- One Flight Over the Gap: A Survey from Perspective to Panoramic Vision [117.80970697177025]
本研究は,最近のパノラマ視覚技術,特にパノラマ・パノラマ・パノラマ適応についてレビューする。
最初にパノラマ画像パイプラインと投影法を再検討し、構造的格差を分析するのに必要な事前知識を構築した。
これに基づいて、300以上の研究論文から得られた20以上の代表的タスクを2次元でカバーする。
論文 参考訳(メタデータ) (2025-09-04T17:59:10Z) - TanDiT: Tangent-Plane Diffusion Transformer for High-Quality 360° Panorama Generation [12.480249699450535]
TanDiTはパノラマシーンを合成する手法で、360$circ$ビュー全体をカバーする接地平面画像の格子を生成する。
また,パノラマ画像の画質を正確に評価するために,TangentISとTangentFIDの2つの専門指標を示す。
論文 参考訳(メタデータ) (2025-06-26T18:09:09Z) - Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images [52.48351378615057]
textitSplatter-360は、ワイドベースラインパノラマ画像を扱うための、エンドツーエンドの汎用3DGSフレームワークである。
パノラマ画像に固有の歪みを緩和する3D対応複投影エンコーダを提案する。
これにより、堅牢な3D対応機能表現とリアルタイムレンダリングが可能になる。
論文 参考訳(メタデータ) (2024-12-09T06:58:31Z) - A Global Depth-Range-Free Multi-View Stereo Transformer Network with Pose Embedding [76.44979557843367]
本稿では,事前の深度範囲を排除した新しい多視点ステレオ(MVS)フレームワークを提案する。
長距離コンテキスト情報を集約するMDA(Multi-view Disparity Attention)モジュールを導入する。
ソース画像のエピポーラ線上のサンプリング点に対応する電流画素の品質を明示的に推定する。
論文 参考訳(メタデータ) (2024-11-04T08:50:16Z) - OPa-Ma: Text Guided Mamba for 360-degree Image Out-painting [9.870063736691556]
我々は,従来の狭視野画像(NFoV)から360度画像を生成するという,最近の話題に対処する。
この課題は、NFoV画像から合理的で一貫した環境を予測することを目的としている。
そこで本稿では,Mambaと呼ばれる状態空間モデルを備えた新しいテキスト誘導アウトペイントフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-15T17:23:00Z) - High-Resolution Depth Estimation for 360-degree Panoramas through
Perspective and Panoramic Depth Images Registration [3.4583104874165804]
本研究では,パノラマの高分解能(2048×1024以上)深度を計算するための新しい手法を提案する。
提案手法は,既存のパノラマ法よりも定性的に優れた結果を生成するとともに,これらの手法では見つからないデータセット上で定量的に評価する。
論文 参考訳(メタデータ) (2022-10-19T09:25:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。