論文の概要: Learning from Rendering: Realistic and Controllable Extreme Rainy Image Synthesis for Autonomous Driving Simulation
- arxiv url: http://arxiv.org/abs/2502.16421v2
- Date: Thu, 31 Jul 2025 16:08:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 15:10:44.759307
- Title: Learning from Rendering: Realistic and Controllable Extreme Rainy Image Synthesis for Autonomous Driving Simulation
- Title（参考訳）: レンダリングから学ぶ:自律運転シミュレーションのための現実的で制御可能な極端降雨画像合成
- Authors: Kaibin Zhou, Kaifeng Huang, Hao Deng, Zelin Tao, Ziniu Liu, Lin Zhang, Shengjie Zhao,
- Abstract要約: 極度の気象条件、特に極度の降雨は、現実世界の設定で捉えるのに稀で費用がかかる。
既存の雨のイメージシンセサイザーは、照明と制限されたリアリズムに対して制御性に欠けることが多い。
本稿では,レンダリングに基づく手法の利点と学習に基づく手法の制御性を組み合わせた,レンダリングからの学習型降雨画像合成器を提案する。
- 参考スコア（独自算出の注目度）: 8.83009075528098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous driving simulators provide an effective and low-cost alternative for evaluating or enhancing visual perception models. However, the reliability of evaluation depends on the diversity and realism of the generated scenes. Extreme weather conditions, particularly extreme rainfalls, are rare and costly to capture in real-world settings. While simulated environments can help address this limitation, existing rainy image synthesizers often suffer from poor controllability over illumination and limited realism, which significantly undermines the effectiveness of the model evaluation. To that end, we propose a learning-from-rendering rainy image synthesizer, which combines the benefits of the realism of rendering-based methods and the controllability of learning-based methods. To validate the effectiveness of our extreme rainy image synthesizer on semantic segmentation task, we require a continuous set of well-labeled extreme rainy images. By integrating the proposed synthesizer with the CARLA driving simulator, we develop CARLARain an extreme rainy street scene simulator which can obtain paired rainy-clean images and labels under complex illumination conditions. Qualitative and quantitative experiments validate that CARLARain can effectively improve the accuracy of semantic segmentation models in extreme rainy scenes, with the models' accuracy (mIoU) improved by 5% - 8% on the synthetic dataset and significantly enhanced in real extreme rainy scenarios under complex illuminations. Our source code and datasets are available at https://github.com/kb824999404/CARLARain/.
- Abstract（参考訳）: 自律運転シミュレータは、視覚知覚モデルの評価や拡張のための効果的で低コストな代替手段を提供する。
しかし、評価の信頼性は、生成されたシーンの多様性とリアリズムに依存する。
極度の気象条件、特に極度の降雨は、現実世界の設定で捉えるのに稀で費用がかかる。
シミュレーション環境は、この制限に対処するのに役立つが、既存の雨天画像合成装置は、照明と制限されたリアリズムに対する制御性に乏しく、モデル評価の有効性を著しく損なう。
そこで本研究では,レンダリングに基づく手法の現実主義と学習に基づく手法の可制御性を組み合わせた,レンダリングによる雨天画像合成手法を提案する。
降雨画像合成装置のセマンティックセグメンテーション作業における有効性を検証するためには,良好なラベル付き降雨画像の連続セットが必要である。
提案したシンセサイザーをCARLA駆動シミュレータと統合することにより,複雑な照明条件下でペアのレインクリーン画像とラベルを取得可能な,極端に雨の多いストリートシーンシミュレータであるCARLARainを開発した。
定性的かつ定量的な実験により、CARLARainは、極端な降雨場面におけるセマンティックセグメンテーションモデルの精度を効果的に向上し、モデルの精度(mIoU)は、合成データセット上で5%から8%向上し、複雑な照明下での実際の極端な降雨シナリオにおいて著しく向上した。
ソースコードとデータセットはhttps://github.com/kb824999404/CARLARain/で公開されています。
関連論文リスト
- UltraPixel: Advancing Ultra-High-Resolution Image Synthesis to New Peaks [36.61645124563195]
カスケード拡散モデルを用いて高画質画像を複数解像度で生成する新しいアーキテクチャであるUltraPixelを提案する。
後半の認知段階における低分解能画像のセマンティクスに富んだ表現を用いて、高精細高分解能画像の全生成を導く。
我々のモデルは、データ要求を減らして高速なトレーニングを行い、フォトリアリスティックな高解像度画像を生成する。
論文 参考訳（メタデータ） (2024-07-02T11:02:19Z) - MDeRainNet: An Efficient Neural Network for Rain Streak Removal from Macro-pixel Images [44.83349966064718]
我々は,LF画像から降雨ストリーク除去を行うために,MDeRainNetと呼ばれる効率的なネットワークを提案する。
提案するネットワークはマルチスケールエンコーダデコーダアーキテクチャを採用し, 直接マクロピクセル画像(MPI)を用いて降雨除去性能を向上する。
そこで本研究では,MDeRainNetのための新しい半教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-15T14:47:02Z) - Exposure Bracketing Is All You Need For A High-Quality Image [50.822601495422916]
マルチ露光画像は、デノイング、デブロアリング、高ダイナミックレンジイメージング、超解像において相補的である。
本研究では,これらの課題を組み合わせ,高品質な画像を得るために露光ブラケット写真を活用することを提案する。
特に時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳（メタデータ） (2024-01-01T14:14:35Z) - RSDiff: Remote Sensing Image Generation from Text Using Diffusion Model [0.8747606955991705]
本研究では,高解像度衛星画像をテキストプロンプトから合成するための2段階拡散モデル手法を提案する。
このパイプラインは、テキスト入力に基づいて初期画像を生成する低解像度拡散モデル(LRDM)と、これらの画像を高解像度出力に洗練する超解拡散モデル(SRDM)から構成される。
論文 参考訳（メタデータ） (2023-09-03T09:34:49Z) - Contrastive Learning Based Recursive Dynamic Multi-Scale Network for
Image Deraining [47.764883957379745]
雨のストリークは撮影画像の可視性を著しく低下させる。
既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。
本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
論文 参考訳（メタデータ） (2023-05-29T13:51:41Z) - Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。
既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。
L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
論文 参考訳（メタデータ） (2023-05-06T10:17:42Z) - TensoIR: Tensorial Inverse Rendering [51.57268311847087]
テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。
TensoRFは、放射場モデリングのための最先端のアプローチである。
論文 参考訳（メタデータ） (2023-04-24T21:39:13Z) - Toward Real-world Single Image Deraining: A New Benchmark and Beyond [79.5893880599847]
現実シナリオにおけるSID(Single Image deraining)は近年注目されている。
以前の実際のデータセットは、低解像度の画像、均一な雨のストリーク、背景の変化の制限、イメージペアの誤調整に悩まされていた。
我々はRealRain-1kという新しい高品質のデータセットを構築した。
論文 参考訳（メタデータ） (2022-06-11T12:26:59Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳（メタデータ） (2020-08-08T18:56:51Z) - Rainy screens: Collecting rainy datasets, indoors [19.71705192452036]
本稿では,既存の地中構造画像から多彩な降雨画像を生成するための簡易な手法を提案する。
この設定により、既存のデータセットの多様性をタスク基底データで活用できます。
都市景観とBDDに基づく降雨量と降雨量と実際の付着液滴を用いた降雨画像を生成し,デライニングモデルを訓練する。
論文 参考訳（メタデータ） (2020-03-10T13:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。