論文の概要: High-resolution Rainy Image Synthesis: Learning from Rendering

• arxiv url: http://arxiv.org/abs/2502.16421v1
• Date: Sun, 23 Feb 2025 03:28:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:54:20.670464
• Title: High-resolution Rainy Image Synthesis: Learning from Rendering
• Title（参考訳）: 高分解能雨画像合成:レンダリングから学ぶ
• Authors: Kaibin Zhou, Shengjie Zhao, Hao Deng, Lin Zhang,
• Abstract要約: 本稿では,高分解能降雨画像合成のための2段階学習パイプラインを提案する。 レンダリング段階では、高解像度のRainy Imageデータセットを作成するためにレンダリングベースの手法を用いる。 学習段階において,高分解能降雨画像生成ネットワーク(HRIGNet)を提案する。
• 参考スコア（独自算出の注目度）: 10.380746107561489
• License:
• Abstract: Currently, there are few effective methods for synthesizing a mass of high-resolution rainy images in complex illumination conditions. However, these methods are essential for synthesizing large-scale high-quality paired rainy-clean image datasets, which can train deep learning-based single image rain removal models capable of generalizing to various illumination conditions. Therefore, we propose a practical two-stage learning-from-rendering pipeline for high-resolution rainy image synthesis. The pipeline combines the benefits of the realism of rendering-based methods and the high-efficiency of learning-based methods, providing the possibility of creating large-scale high-quality paired rainy-clean image datasets. In the rendering stage, we use a rendering-based method to create a High-resolution Rainy Image (HRI) dataset, which contains realistic high-resolution paired rainy-clean images of multiple scenes and various illumination conditions. In the learning stage, to learn illumination information from background images for high-resolution rainy image generation, we propose a High-resolution Rainy Image Generation Network (HRIGNet). HRIGNet is designed to introduce a guiding diffusion model in the Latent Diffusion Model, which provides additional guidance information for high-resolution image synthesis. In our experiments, HRIGNet is able to synthesize high-resolution rainy images up to 2048x1024 resolution. Rain removal experiments on real dataset validate that our method can help improve the robustness of deep derainers to real rainy images. To make our work reproducible, source codes and the dataset have been released at https://kb824999404.github.io/HRIG/.
• Abstract（参考訳）: 現在、複雑な照明条件下で高解像度の雨画像の質量を合成する有効な方法はほとんどない。 しかし,これらの手法は,様々な照明条件に適応可能な深層学習に基づく単一雨量除去モデルの訓練が可能な,大規模で高品質な雨量クリーン画像データセットの合成に不可欠である。 そこで本研究では,高分解能降雨画像合成のための2段階学習パイプラインを提案する。 このパイプラインは、レンダリングベースの手法のリアリズムと学習ベースの手法の高効率の利点を組み合わせることで、大規模で高品質なペアのレインクリーンなイメージデータセットを作成することができる。 レンダリング段階では,複数シーンのリアルな高分解能ペアレインクリーン画像と様々な照明条件を含む高分解能レイン画像(HRI)データセットを作成するために,レンダリングに基づく手法を用いる。 学習段階において,高分解能降雨画像生成のための背景画像から照明情報を学習するために,高分解能降雨画像生成ネットワーク(HRIGNet)を提案する。 HRIGNetは遅延拡散モデルに誘導拡散モデルを導入し,高分解能画像合成のためのガイダンス情報を提供するように設計されている。 我々の実験では、HRIGNetは2048x1024の高解像度の雨像を合成することができる。 実データを用いた降雨除去実験により, 実際の降雨画像に対する深部デラリナーのロバスト性向上に有効であることが確認された。 私たちの作業を再現できるように、ソースコードとデータセットはhttps://kb824999404.github.io/HRIG/でリリースされました。

関連論文リスト

• UltraPixel: Advancing Ultra-High-Resolution Image Synthesis to New Peaks [36.61645124563195]
  カスケード拡散モデルを用いて高画質画像を複数解像度で生成する新しいアーキテクチャであるUltraPixelを提案する。 後半の認知段階における低分解能画像のセマンティクスに富んだ表現を用いて、高精細高分解能画像の全生成を導く。 我々のモデルは、データ要求を減らして高速なトレーニングを行い、フォトリアリスティックな高解像度画像を生成する。
  論文  参考訳（メタデータ） (2024-07-02T11:02:19Z)
• MDeRainNet: An Efficient Neural Network for Rain Streak Removal from Macro-pixel Images [44.83349966064718]
  我々は,LF画像から降雨ストリーク除去を行うために,MDeRainNetと呼ばれる効率的なネットワークを提案する。 提案するネットワークはマルチスケールエンコーダデコーダアーキテクチャを採用し, 直接マクロピクセル画像(MPI)を用いて降雨除去性能を向上する。 そこで本研究では,MDeRainNetのための新しい半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-15T14:47:02Z)
• Exposure Bracketing Is All You Need For A High-Quality Image [50.822601495422916]
  マルチ露光画像は、デノイング、デブロアリング、高ダイナミックレンジイメージング、超解像において相補的である。 本研究では,これらの課題を組み合わせ,高品質な画像を得るために露光ブラケット写真を活用することを提案する。 特に時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• Contrastive Learning Based Recursive Dynamic Multi-Scale Network for Image Deraining [47.764883957379745]
  雨のストリークは撮影画像の可視性を著しく低下させる。 既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。 本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:51:41Z)
• Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
  暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。 既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。 L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
  論文  参考訳（メタデータ） (2023-05-06T10:17:42Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Toward Real-world Single Image Deraining: A New Benchmark and Beyond [79.5893880599847]
  現実シナリオにおけるSID(Single Image deraining)は近年注目されている。 以前の実際のデータセットは、低解像度の画像、均一な雨のストリーク、背景の変化の制限、イメージペアの誤調整に悩まされていた。 我々はRealRain-1kという新しい高品質のデータセットを構築した。
  論文  参考訳（メタデータ） (2022-06-11T12:26:59Z)
• From Rain Generation to Rain Removal [67.71728610434698]
  雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。 降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。 総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
  論文  参考訳（メタデータ） (2020-08-08T18:56:51Z)
• Rainy screens: Collecting rainy datasets, indoors [19.71705192452036]
  本稿では,既存の地中構造画像から多彩な降雨画像を生成するための簡易な手法を提案する。 この設定により、既存のデータセットの多様性をタスク基底データで活用できます。 都市景観とBDDに基づく降雨量と降雨量と実際の付着液滴を用いた降雨画像を生成し,デライニングモデルを訓練する。
  論文  参考訳（メタデータ） (2020-03-10T13:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。