論文の概要: Day-to-Night Image Synthesis for Training Nighttime Neural ISPs

• arxiv url: http://arxiv.org/abs/2206.02715v1
• Date: Mon, 6 Jun 2022 16:15:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 17:21:24.521612
• Title: Day-to-Night Image Synthesis for Training Nighttime Neural ISPs
• Title（参考訳）: 夜間神経isp訓練のための昼夜画像合成
• Authors: Abhijith Punnappurath, Abdullah Abuolaim, Abdelrahman Abdelhamed, Alex Levinshtein and Michael S. Brown
• Abstract要約: 夜間画像から夜間画像を合成する手法を提案する。 昼間の画像は簡単に撮影でき、低ノイズで動きのぼかしに苦しむことは滅多にない。 ナイトモードレンダリングのためのニューラルネットワークISPのトレーニングによる合成フレームワークの有効性を示す。
• 参考スコア（独自算出の注目度）: 39.37467397777888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many flagship smartphone cameras now use a dedicated neural image signal processor (ISP) to render noisy raw sensor images to the final processed output. Training nightmode ISP networks relies on large-scale datasets of image pairs with: (1) a noisy raw image captured with a short exposure and a high ISO gain; and (2) a ground truth low-noise raw image captured with a long exposure and low ISO that has been rendered through the ISP. Capturing such image pairs is tedious and time-consuming, requiring careful setup to ensure alignment between the image pairs. In addition, ground truth images are often prone to motion blur due to the long exposure. To address this problem, we propose a method that synthesizes nighttime images from daytime images. Daytime images are easy to capture, exhibit low-noise (even on smartphone cameras) and rarely suffer from motion blur. We outline a processing framework to convert daytime raw images to have the appearance of realistic nighttime raw images with different levels of noise. Our procedure allows us to easily produce aligned noisy and clean nighttime image pairs. We show the effectiveness of our synthesis framework by training neural ISPs for nightmode rendering. Furthermore, we demonstrate that using our synthetic nighttime images together with small amounts of real data (e.g., 5% to 10%) yields performance almost on par with training exclusively on real nighttime images. Our dataset and code are available at https://github.com/SamsungLabs/day-to-night.
• Abstract（参考訳）: 多くのフラグシップスマートフォンカメラは、専用ニューラルイメージ信号プロセッサ(ISP)を使用して、ノイズの多い生のセンサー画像を最終的な処理出力にレンダリングする。 ナイトモードispネットワークのトレーニングは、画像ペアの大規模データセットに依存しており、(1)短い露光と高いiso利得でキャプチャされたノイズの多い生画像、(2)ispを介して描画された長時間露光と低isoでキャプチャされた地上真理低ノイズ生画像である。 このようなイメージペアのキャプチャは面倒で時間を要するため、イメージペア間のアライメントを確保するために、慎重にセットアップする必要がある。 さらに、地上の真実画像は、長時間の露光のため、しばしば動きがぼやけやすい。 そこで本研究では,昼間画像から夜間画像を合成する手法を提案する。 昼間の映像は簡単に撮影でき、(スマートフォンのカメラでも)低ノイズで動きのぼかしに悩まされることはめったにない。 本稿では,昼の生画像から,ノイズレベルが異なるリアルタイムの生画像の外観に変換する処理フレームワークについて概説する。 提案手法により,夜間のノイズやクリーンな画像ペアを容易に生成できる。 ナイトモードレンダリングのためのニューラルネットワークISPのトレーニングによる合成フレームワークの有効性を示す。 さらに,我々の合成夜間画像と少量の実データ(例えば5%から10%)を併用することにより,実夜間画像のみのトレーニングとほぼ同等の性能が得られることを示した。 データセットとコードはhttps://github.com/SamsungLabs/day-to-night.comから入手可能です。

関連論文リスト

• Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
  夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。 具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。 提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-08-25T13:59:31Z)
• Contrastive Learning for Low-light Raw Denoising [2.929093799984392]
  ノイズの多い画像やクリーンな画像の情報を活用するために,新たにDCR(Denoising contrast regularization)を導入する。 特徴空間では、DCRはクリーンな画像に近づき、ノイズの多い画像から遠く離れている。 さらに、我々はWnetと呼ばれる機能埋め込みネットワークを構築し、このネットワークは高周波情報を抽出するのにより効果的である。
  論文  参考訳（メタデータ） (2023-05-05T08:13:53Z)
• D2HNet: Joint Denoising and Deblurring with Hierarchical Network for Robust Night Image Restoration [17.6005530147501]
  現代のスマートフォンカメラによる夜間イメージングは、低光子数と避けられないノイズのため、厄介である。 短時間露光画像の誘導の下で長時間露光画像の復調・拡張により高品質な画像の復元を行うD2HNetフレームワークを開発した。 検証セットと実画像を用いた結果から,視覚的品質と最先端の定量的スコアが得られた。
  論文  参考訳（メタデータ） (2022-07-07T13:42:05Z)
• When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation [47.617222712429026]
  既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。 まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。 第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
  論文  参考訳（メタデータ） (2022-06-28T09:29:55Z)
• Rendering Nighttime Image Via Cascaded Color and Brightness Compensation [22.633061635144887]
  我々は、ホワイトバランスとトーンマッピングを専門家がアノテートした高精細な夜間RAW-RGBデータセットを構築した。 次に、色と明るさの補正を行うための2段階NN ISPであるCBUnetを開発する。 実験の結果,従来のISPパイプラインに比べて視覚的品質がよいことがわかった。
  論文  参考訳（メタデータ） (2022-04-19T16:15:31Z)
• Pseudo-ISP: Learning Pseudo In-camera Signal Processing Pipeline from A Color Image Denoiser [73.88164217509816]
  雑音の差によるテスト画像の処理にカラー画像復調器を適応させる未ペア学習方式を提案する。 我々は,事前訓練されたデノイザー,テスト用ノイズ画像のセット,クリーン画像の非ペア化など,実践的なトレーニング設定を検討する。 pseudo-ispは現実的なsrgb画像の合成に有効である。
  論文  参考訳（メタデータ） (2021-03-18T13:11:28Z)
• Nighttime Dehazing with a Synthetic Benchmark [147.21955799938115]
  昼間の鮮明な画像から夜間のハズイ画像をシミュレートする3Rという新しい合成法を提案する。 実空間の光色を以前の経験的分布からサンプリングすることにより,現実的な夜間ハズイ画像を生成する。 実験結果は、画像の品質と実行時間の両方の観点から、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-10T02:16:46Z)
• Night-time Scene Parsing with a Large Real Dataset [67.11211537439152]
  我々は,夜間シーン解析(NTSP)の問題に対処することを目指しており,主な課題が2つある。 夜間データの不足に対処するため、実夜間画像4,297枚からなる新しいラベル付きデータセット、NightCityを収集した。 また,NTSP問題に対処するための露出認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-15T18:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。