論文の概要: WeatherDiffusion: Weather-Guided Diffusion Model for Forward and Inverse Rendering

• arxiv url: http://arxiv.org/abs/2508.06982v1
• Date: Sat, 09 Aug 2025 13:29:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.640123
• Title: WeatherDiffusion: Weather-Guided Diffusion Model for Forward and Inverse Rendering
• Title（参考訳）: 気象拡散:フォワードおよび逆レンダリングのための気象誘導拡散モデル
• Authors: Yixin Zhu, Zuoliang Zhu, Miloš Hašan, Jian Yang, Jin Xie, Beibei Wang,
• Abstract要約: WeatherDiffusionは、自動運転シーンの前方および逆レンダリングのための拡散ベースのフレームワークである。 本手法は, 物質特性, シーン形状, 照明の正確な推定を可能にするとともに, 制御可能な天気や照明の編集もサポートする。
• 参考スコア（独自算出の注目度）: 40.94600501568197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forward and inverse rendering have emerged as key techniques for enabling understanding and reconstruction in the context of autonomous driving (AD). However, complex weather and illumination pose great challenges to this task. The emergence of large diffusion models has shown promise in achieving reasonable results through learning from 2D priors, but these models are difficult to control and lack robustness. In this paper, we introduce WeatherDiffusion, a diffusion-based framework for forward and inverse rendering on AD scenes with various weather and lighting conditions. Our method enables authentic estimation of material properties, scene geometry, and lighting, and further supports controllable weather and illumination editing through the use of predicted intrinsic maps guided by text descriptions. We observe that different intrinsic maps should correspond to different regions of the original image. Based on this observation, we propose Intrinsic map-aware attention (MAA) to enable high-quality inverse rendering. Additionally, we introduce a synthetic dataset (\ie WeatherSynthetic) and a real-world dataset (\ie WeatherReal) for forward and inverse rendering on AD scenes with diverse weather and lighting. Extensive experiments show that our WeatherDiffusion outperforms state-of-the-art methods on several benchmarks. Moreover, our method demonstrates significant value in downstream tasks for AD, enhancing the robustness of object detection and image segmentation in challenging weather scenarios.
• Abstract（参考訳）: 前向きおよび逆方向のレンダリングは、自律運転(AD)の文脈における理解と再構築を可能にする重要な技術として登場した。 しかし、複雑な天候と照明は、この課題に大きな課題をもたらす。 大規模拡散モデルの出現は、2次元事前学習を通じて合理的な結果を得る上で有望であることを示しているが、これらのモデルは制御が困難であり、堅牢性が欠如している。 本稿では,様々な気象条件と照明条件のADシーンを前方・逆レンダリングする拡散型フレームワークであるWeatherDiffusionを紹介する。 本手法は, 材料特性, シーン形状, 照明の正確な推定を可能にし, さらに, テキスト記述で導かれる固有地図を用いて, 制御可能な天気や照明の編集を支援する。 我々は、異なる固有写像が元の画像の異なる領域に対応することを観察する。 そこで本研究では,高品質な逆レンダリングを実現するために,固有地図認識注意(MAA)を提案する。 さらに、様々な天気や照明のADシーンを前後にレンダリングするための合成データセット(\ie WeatherSynthetic)と実世界のデータセット(\ie WeatherReal)を導入する。 大規模な実験により、WeatherDiffusionはいくつかのベンチマークで最先端の手法よりも優れています。 さらに、本手法は、ADの下流タスクにおいて重要な価値を示し、挑戦的な気象シナリオにおけるオブジェクト検出と画像分割の堅牢性を高める。

関連論文リスト

• DA2Diff: Exploring Degradation-aware Adaptive Diffusion Priors for All-in-One Weather Restoration [32.16602874389847]
  本稿では,DA2Diff と呼ばれるオールインワン気象の回復に適応した劣化を考慮した拡散パラダイムを提案する。 学習可能な一連のプロンプトをデプロイし、CLIP空間の即時類似性制約によって分解認識表現をキャプチャする。 本稿では,動的気象対応ルータを用いた動的専門家選択変調器を提案する。
  論文  参考訳（メタデータ） (2025-04-07T14:38:57Z)
• ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions [1.7537812081430004]
  本研究では,3次元物体検出モデルにカメラやライダーの知識を取り入れたContextualFusionという手法を提案する。 我々の手法は、文脈バランスの取れた合成データセットの最先端手法に対して6.2%のmAP改善をもたらす。 本手法は,実世界のNuScenesデータセット上での夜間の3D対物性能を11.7%向上させる。
  論文  参考訳（メタデータ） (2024-04-23T06:37:54Z)
• WeatherProof: Leveraging Language Guidance for Semantic Segmentation in Adverse Weather [8.902960772665482]
  本研究では,悪天候下で撮影された画像からセマンティックセグメンテーションマップを推定する方法を提案する。 まず、雨や霧、雪などの気象条件によって劣化した画像の既存のモデルを調べる。 気象画像の正当性を考慮した最初のセマンティックセマンティックセグメンテーションデータセットであるWeatherProofを提案する。
  論文  参考訳（メタデータ） (2024-03-21T22:46:27Z)
• All-weather Multi-Modality Image Fusion: Unified Framework and 100k Benchmark [42.49073228252726]
  MMIF(Multi-modality Image fusion)は、異なる画像モダリティからの相補的な情報を組み合わせて、より包括的で客観的なシーン解釈を提供する。 既存のMMIF法では、現実の場面で異なる気象干渉に抵抗する能力が欠如しており、自律運転のような実践的な応用では利用できない。 この文脈で効率的なマルチタスクを実現するために,全天候MMIFモデルを提案する。 実世界の場面と合成シーンの両方における実験結果から,提案アルゴリズムは細部回復と多モード特徴抽出に優れることが示された。
  論文  参考訳（メタデータ） (2024-02-03T09:02:46Z)
• Learning Real-World Image De-Weathering with Imperfect Supervision [57.748585821252824]
  既存の現実世界のデヒータリングデータセットは、接地トラス画像と入力された劣化画像の間に、一貫性のない照明、位置、テクスチャを示すことが多い。 我々は、入力劣化画像と可能な限り一貫性のある擬似ラベルを生成するための一貫性ラベルコンストラクタ(CLC)を開発した。 我々は,従来の不完全ラベルと擬似ラベルを組み合わせることで,情報割当戦略による脱ウェザリングモデルを共同で監督する。
  論文  参考訳（メタデータ） (2023-10-23T14:02:57Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。