論文の概要: Learning from Rendering: Realistic and Controllable Extreme Rainy Image Synthesis for Autonomous Driving Simulation

• arxiv url: http://arxiv.org/abs/2502.16421v2
• Date: Thu, 31 Jul 2025 16:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 15:10:44.759307
• Title: Learning from Rendering: Realistic and Controllable Extreme Rainy Image Synthesis for Autonomous Driving Simulation
• Title（参考訳）: レンダリングから学ぶ:自律運転シミュレーションのための現実的で制御可能な極端降雨画像合成
• Authors: Kaibin Zhou, Kaifeng Huang, Hao Deng, Zelin Tao, Ziniu Liu, Lin Zhang, Shengjie Zhao,
• Abstract要約: 極度の気象条件、特に極度の降雨は、現実世界の設定で捉えるのに稀で費用がかかる。 既存の雨のイメージシンセサイザーは、照明と制限されたリアリズムに対して制御性に欠けることが多い。 本稿では,レンダリングに基づく手法の利点と学習に基づく手法の制御性を組み合わせた,レンダリングからの学習型降雨画像合成器を提案する。
• 参考スコア（独自算出の注目度）: 8.83009075528098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous driving simulators provide an effective and low-cost alternative for evaluating or enhancing visual perception models. However, the reliability of evaluation depends on the diversity and realism of the generated scenes. Extreme weather conditions, particularly extreme rainfalls, are rare and costly to capture in real-world settings. While simulated environments can help address this limitation, existing rainy image synthesizers often suffer from poor controllability over illumination and limited realism, which significantly undermines the effectiveness of the model evaluation. To that end, we propose a learning-from-rendering rainy image synthesizer, which combines the benefits of the realism of rendering-based methods and the controllability of learning-based methods. To validate the effectiveness of our extreme rainy image synthesizer on semantic segmentation task, we require a continuous set of well-labeled extreme rainy images. By integrating the proposed synthesizer with the CARLA driving simulator, we develop CARLARain an extreme rainy street scene simulator which can obtain paired rainy-clean images and labels under complex illumination conditions. Qualitative and quantitative experiments validate that CARLARain can effectively improve the accuracy of semantic segmentation models in extreme rainy scenes, with the models' accuracy (mIoU) improved by 5% - 8% on the synthetic dataset and significantly enhanced in real extreme rainy scenarios under complex illuminations. Our source code and datasets are available at https://github.com/kb824999404/CARLARain/.
• Abstract（参考訳）: 自律運転シミュレータは、視覚知覚モデルの評価や拡張のための効果的で低コストな代替手段を提供する。 しかし、評価の信頼性は、生成されたシーンの多様性とリアリズムに依存する。 極度の気象条件、特に極度の降雨は、現実世界の設定で捉えるのに稀で費用がかかる。 シミュレーション環境は、この制限に対処するのに役立つが、既存の雨天画像合成装置は、照明と制限されたリアリズムに対する制御性に乏しく、モデル評価の有効性を著しく損なう。 そこで本研究では,レンダリングに基づく手法の現実主義と学習に基づく手法の可制御性を組み合わせた,レンダリングによる雨天画像合成手法を提案する。 降雨画像合成装置のセマンティックセグメンテーション作業における有効性を検証するためには,良好なラベル付き降雨画像の連続セットが必要である。 提案したシンセサイザーをCARLA駆動シミュレータと統合することにより,複雑な照明条件下でペアのレインクリーン画像とラベルを取得可能な,極端に雨の多いストリートシーンシミュレータであるCARLARainを開発した。 定性的かつ定量的な実験により、CARLARainは、極端な降雨場面におけるセマンティックセグメンテーションモデルの精度を効果的に向上し、モデルの精度(mIoU)は、合成データセット上で5%から8%向上し、複雑な照明下での実際の極端な降雨シナリオにおいて著しく向上した。 ソースコードとデータセットはhttps://github.com/kb824999404/CARLARain/で公開されています。

関連論文リスト

• Simulating Refractive Distortions and Weather-Induced Artifacts for Resource-Constrained Autonomous Perception [1.8463472137156713]
  本稿では, 現実的な屈折歪みと気象にともなうアーティファクトを伴って, 低コストな単眼ダッシュカム撮影を可能にするプロシージャ拡張パイプラインを提案する。 我々の屈折モジュールは、レンズ歪み、パーリンノイズ、薄膜スプライン(TPS)、ばらつきのない(非圧縮性)ワープなど、低品質レンズと空気乱流の光学効果をシミュレートする。 コストのかかるデータ収集やラベリング、シミュレーションを伴わずに、表現の少ないアフリカの文脈における知覚研究を支援するため、歪みツールキット、データセット分割、ベンチマーク結果をリリースする。
  論文  参考訳（メタデータ） (2025-07-07T23:21:19Z)
• Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining [73.5575992346396]
  本稿では,ビデオシーケンスにおけるストリーク除去を改善するために,2分岐時間状態空間モデルを提案する。 マルチフレーム機能融合を改善するために,画素ワイド機能改善のための統計的フィルタを適応的に近似する動的フィルタ積層法を提案する。 降雨環境における他の視覚に基づくタスクを支援する上でのデラミニングモデルの能力をさらに探求するため,我々は新しい実世界ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-05-22T15:50:00Z)
• Controllable Weather Synthesis and Removal with Video Diffusion Models [61.56193902622901]
  WeatherWeaverは、様々な気象効果を直接入力ビデオに合成するビデオ拡散モデルである。 本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。
  論文  参考訳（メタデータ） (2025-05-01T17:59:57Z)
• Enhancing autonomous vehicle safety in rain: a data-centric approach for clear vision [0.0]
  我々は,雨による視覚障害を取り除くために,ライブ車両のカメラフィードを処理する視覚モデルを開発した。 従来のエンコーダ・デコーダアーキテクチャを用いて,接続をスキップし,操作を連結した。 その結果, 降雨条件下での航法安全性と信頼性を高めるため, 操舵精度が向上した。
  論文  参考訳（メタデータ） (2024-12-29T20:27:12Z)
• UltraPixel: Advancing Ultra-High-Resolution Image Synthesis to New Peaks [36.61645124563195]
  カスケード拡散モデルを用いて高画質画像を複数解像度で生成する新しいアーキテクチャであるUltraPixelを提案する。 後半の認知段階における低分解能画像のセマンティクスに富んだ表現を用いて、高精細高分解能画像の全生成を導く。 我々のモデルは、データ要求を減らして高速なトレーニングを行い、フォトリアリスティックな高解像度画像を生成する。
  論文  参考訳（メタデータ） (2024-07-02T11:02:19Z)
• MDeRainNet: An Efficient Neural Network for Rain Streak Removal from Macro-pixel Images [44.83349966064718]
  我々は,LF画像から降雨ストリーク除去を行うために,MDeRainNetと呼ばれる効率的なネットワークを提案する。 提案するネットワークはマルチスケールエンコーダデコーダアーキテクチャを採用し, 直接マクロピクセル画像(MPI)を用いて降雨除去性能を向上する。 そこで本研究では,MDeRainNetのための新しい半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-15T14:47:02Z)
• SynFog: A Photo-realistic Synthetic Fog Dataset based on End-to-end Imaging Simulation for Advancing Real-World Defogging in Autonomous Driving [48.27575423606407]
  フォトリアリスティックな霧画像を生成するために,エンド・ツー・エンドのシミュレーションパイプラインを導入する。 我々は、スカイライトとアクティブな照明条件の両方を特徴とするSynFogという新しい合成霧データセットを提案する。 実験の結果,SynFogで訓練したモデルでは,視覚知覚と検出精度が優れていた。
  論文  参考訳（メタデータ） (2024-03-25T18:32:41Z)
• Exposure Bracketing Is All You Need For A High-Quality Image [50.822601495422916]
  マルチ露光画像は、デノイング、デブロアリング、高ダイナミックレンジイメージング、超解像において相補的である。 本研究では,これらの課題を組み合わせ,高品質な画像を得るために露光ブラケット写真を活用することを提案する。 特に時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• RSDiff: Remote Sensing Image Generation from Text Using Diffusion Model [0.8747606955991705]
  本研究では,高解像度衛星画像をテキストプロンプトから合成するための2段階拡散モデル手法を提案する。 このパイプラインは、テキスト入力に基づいて初期画像を生成する低解像度拡散モデル(LRDM)と、これらの画像を高解像度出力に洗練する超解拡散モデル(SRDM)から構成される。
  論文  参考訳（メタデータ） (2023-09-03T09:34:49Z)
• Contrastive Learning Based Recursive Dynamic Multi-Scale Network for Image Deraining [47.764883957379745]
  雨のストリークは撮影画像の可視性を著しく低下させる。 既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。 本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:51:41Z)
• Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
  暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。 既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。 L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
  論文  参考訳（メタデータ） (2023-05-06T10:17:42Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Learning to Simulate Realistic LiDARs [66.7519667383175]
  リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。 本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。 我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
  論文  参考訳（メタデータ） (2022-09-22T13:12:54Z)
• Toward Real-world Single Image Deraining: A New Benchmark and Beyond [79.5893880599847]
  現実シナリオにおけるSID(Single Image deraining)は近年注目されている。 以前の実際のデータセットは、低解像度の画像、均一な雨のストリーク、背景の変化の制限、イメージペアの誤調整に悩まされていた。 我々はRealRain-1kという新しい高品質のデータセットを構築した。
  論文  参考訳（メタデータ） (2022-06-11T12:26:59Z)
• Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
  ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。 降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
  論文  参考訳（メタデータ） (2021-07-14T21:10:47Z)
• From Rain Generation to Rain Removal [67.71728610434698]
  雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。 降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。 総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
  論文  参考訳（メタデータ） (2020-08-08T18:56:51Z)
• Rainy screens: Collecting rainy datasets, indoors [19.71705192452036]
  本稿では,既存の地中構造画像から多彩な降雨画像を生成するための簡易な手法を提案する。 この設定により、既存のデータセットの多様性をタスク基底データで活用できます。 都市景観とBDDに基づく降雨量と降雨量と実際の付着液滴を用いた降雨画像を生成し,デライニングモデルを訓練する。
  論文  参考訳（メタデータ） (2020-03-10T13:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。