論文の概要: StreetDiff: Multi-view Street Scenes Generation via Cross-view Consistent Multi-view Stable Diffusion with Structure Prompts
- arxiv url: http://arxiv.org/abs/2609.09890v1
- Date: Wed, 09 Sep 2026 08:46:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.956648
- Title: StreetDiff: Multi-view Street Scenes Generation via Cross-view Consistent Multi-view Stable Diffusion with Structure Prompts
- Title（参考訳）: ストリートディフ: クロスビュー・コンシステント・マルチビュー安定拡散による多視点ストリートシーンの生成
- Abstract要約: StreetDiffは多視点拡散フレームワークで、演能中にクロスビューアライメントを明示的に強制する。
また,StreetDiffは,従来の多視点拡散生成法と比較して,構造的整合性と視覚的忠実度を著しく向上することを示した。
- 参考スコア（独自算出の注目度）: 12.330775633106212
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-view diffusion models have shown strong performance in scenes with strong geometric priors and sparse semantics, such as indoor rooms or simple outdoor environments (e.g., fields, courtyards). However, they often fail to maintain cross-view consistency under camera rotation, especially in structurally complex urban environments. Without explicit modeling of spherical correspondence across views, existing approaches tend to produce object duplication, structural distortion, and layout inconsistency. To address this limitation, we propose StreetDiff, a multi-view diffusion framework that explicitly enforces cross-view alignment during denoising. StreetDiff introduces a Panorama--Perspective Synergy design to decouple global layout reasoning from local detail synthesis, and incorporates a Panorama Alignment Module (PAM) that establishes spherical-projection-based attention constraints across views. By injecting structured alignment constraints without modifying the diffusion backbone, our framework achieves robust cross-view coherence in challenging urban street scene generation tasks. In addition, we construct Street360, a large-scale HDR multi-view urban panorama dataset. Extensive experiments demonstrate that StreetDiff significantly improves structural consistency and visual fidelity compared to prior multi-view diffusion generation methods.
- Abstract（参考訳）: 多視点拡散モデルでは、室内や単純な屋外環境(例えば、フィールド、中庭)など、幾何学的先行性や疎密な意味を持つシーンにおいて、強い性能を示す。
しかし、カメラ回転下では、特に構造的に複雑な都市環境では、視界の整合性を維持するのに失敗することが多い。
ビュー間の球面対応の明示的なモデリングがなければ、既存のアプローチはオブジェクト重複、構造歪み、レイアウトの不整合を生み出す傾向にある。
この制限に対処するため,多視点拡散フレームワークであるStreetDiffを提案する。
ストリートディフは、局所的な詳細合成からグローバルレイアウト推論を分離するパノラマ-パースペクティブ・シナジーデザインを導入し、ビュー間の球面投影に基づく注意制約を確立するパノラマアライメント・モジュール(PAM)を組み込んだ。
拡散バックボーンを変更せずに構造的アライメント制約を注入することにより、街路シーン生成に挑戦する課題において、ロバストなクロスビューコヒーレンスを実現する。
さらに,大規模なHDRマルチビュー都市パノラマデータセットであるStreet360を構築した。
大規模な実験により、StreetDiffは、以前の多視点拡散生成法と比較して、構造的一貫性と視覚的忠実度を著しく改善することが示された。
関連論文リスト
- CalibAnyView: Beyond Single-View Camera Calibration in the Wild [59.66873936532375]
カメラキャリブレーションは、信頼性の高い幾何学的知覚の基本的な前提条件である。
近年の学習に基づく手法では、単一ビューの校正には有望な結果が得られたが、本質的に複数のビューにまたがる幾何的整合性は無視されている。
任意の数の入力ビューをサポートする統一的な定式化であるCalibAnyViewを紹介します。
論文 参考訳（メタデータ） (2026-05-14T09:32:12Z) - MVInverse: Feed-forward Multi-view Inverse Rendering in Seconds [19.94963757122156]
多視点逆レンダリングは、幾何、材料、照明を複数の視点で一貫して回復することを目的としている。
本稿では,RGB画像から空間変化アルベド,金属,粗さ,拡散シェーディング,表面正規度を直接予測するフィードフォワード多視点逆レンダリングフレームワークを提案する。
提案手法は,多視点整合性,物質的および正規推定品質,実世界の画像への一般化という観点から,最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-12-24T06:59:29Z) - From Satellite to Street: A Hybrid Framework Integrating Stable Diffusion and PanoGAN for Consistent Cross-View Synthesis [3.2018357347625037]
本稿では,衛星画像からストリートビュー画像を生成するために,拡散モデルと条件付き生成対向ネットワークを統合したハイブリッドフレームワークを提案する。
このフレームワークは、きめ細かい局所的な詳細を保存しながら、現実的で幾何学的に一貫したストリートビュー画像を生成することに成功した。
論文 参考訳（メタデータ） (2025-09-29T07:14:49Z) - MOSAIC: Generating Consistent, Privacy-Preserving Scenes from Multiple Depth Views in Multi-Room Environments [21.060917984023273]
奥行き画像のみから多ルーム屋内環境のプライバシ保存型デジタル双生児を生成するための拡散型アプローチを提案する。
我々のアプローチの中心は、新しいMOSAIC(Multi-view Overlapped Scene Alignment with Implicit Consistency)モデルである。
実験により、MOSAICは複雑なマルチルーム環境の再構築において、画像の忠実度測定における最先端のベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-03-18T01:50:57Z) - DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。
DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:57:02Z) - CrossViewDiff: A Cross-View Diffusion Model for Satellite-to-Street View Synthesis [54.852701978617056]
CrossViewDiffは、衛星間ビュー合成のためのクロスビュー拡散モデルである。
ビュー間の大きな相違による課題に対処するため、衛星シーン構造推定とクロスプラットフォームテクスチャマッピングモジュールを設計する。
合成結果のより包括的な評価を実現するため,GPTに基づくスコアリング手法を設計する。
論文 参考訳（メタデータ） (2024-08-27T03:41:44Z) - MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。
以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-26T17:53:51Z) - Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。
既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。
これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。
一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
論文 参考訳（メタデータ） (2024-04-11T03:00:00Z) - Multi-Spectral Image Stitching via Spatial Graph Reasoning [52.27796682972484]
空間グラフ推論に基づくマルチスペクトル画像縫合法を提案する。
同一のビュー位置から複数スケールの補完機能をノードに埋め込む。
空間的・チャネル的次元に沿った長距離コヒーレンスを導入することにより、画素関係の相補性とチャネル相互依存性は、整列したマルチビュー特徴の再構築に寄与する。
論文 参考訳（メタデータ） (2023-07-31T15:04:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。