論文の概要: Dancing under the stars: video denoising in starlight

• arxiv url: http://arxiv.org/abs/2204.04210v1
• Date: Fri, 8 Apr 2022 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 13:59:58.550301
• Title: Dancing under the stars: video denoising in starlight
• Title（参考訳）: 星の下のダンス:星の光を映すビデオ
• Authors: Kristina Monakhova, Stephan R. Richter, Laura Waller, Vladlen Koltun
• Abstract要約: 本稿では,星光下でのフォトリアリスティック映像(月面表示なし,0.001ルックス)を初めて紹介する。 我々は、低照度でのカメラノイズをより正確に表現するための、GANで調整された物理ベースノイズモデルを開発した。 約0.6-0.7ミリラックスで、アクティブな照明のない5-10fpsのビデオデータセットを撮影する。
• 参考スコア（独自算出の注目度）: 73.18451445653574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Imaging in low light is extremely challenging due to low photon counts. Using sensitive CMOS cameras, it is currently possible to take videos at night under moonlight (0.05-0.3 lux illumination). In this paper, we demonstrate photorealistic video under starlight (no moon present, $<$0.001 lux) for the first time. To enable this, we develop a GAN-tuned physics-based noise model to more accurately represent camera noise at the lowest light levels. Using this noise model, we train a video denoiser using a combination of simulated noisy video clips and real noisy still images. We capture a 5-10 fps video dataset with significant motion at approximately 0.6-0.7 millilux with no active illumination. Comparing against alternative methods, we achieve improved video quality at the lowest light levels, demonstrating photorealistic video denoising in starlight for the first time.
• Abstract（参考訳）: 低光度での撮像は光子数が少ないため極めて困難である。 現在、感度の高いCMOSカメラを使用して、夜間に月明かりの下でビデオ撮影が可能である(0.05-0.3ルックス照明)。 本稿では,初めてstarlight (no moon present, $<0.001 lux) の下で,フォトリアリスティックな映像を実演する。 これを実現するために,gan調の物理ノイズモデルを開発し,低照度でのカメラノイズをより正確に表現する。 このノイズモデルを用いて,ビデオデノイザーをシミュレートされたノイズ映像と実際のノイズ静止画像を組み合わせて訓練する。 約0.6-0.7ミリラックスで、アクティブな照明のない5-10fpsのビデオデータセットを撮影する。 代替手法との比較により、低照度で画質が向上し、初めてstarlightでのフォトリアリスティックな映像が得られた。

関連論文リスト

• Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
  ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。 我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。 本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-10-24T01:34:11Z)
• Panoramas from Photons [22.437940699523082]
  低光域や高ダイナミックレンジといった困難な条件下での極端なシーンの動きを推定できる手法を提案する。 本手法は, ファクト後のフレームを階層的にグループ化し, 集約することに依存する。 高速動作と極低光下での高画質パノラマの創出と,カスタム単光子カメラの試作による超高分解能化を実証した。
  論文  参考訳（メタデータ） (2023-09-07T16:07:31Z)
• Contrastive Learning for Low-light Raw Denoising [2.929093799984392]
  ノイズの多い画像やクリーンな画像の情報を活用するために,新たにDCR(Denoising contrast regularization)を導入する。 特徴空間では、DCRはクリーンな画像に近づき、ノイズの多い画像から遠く離れている。 さらに、我々はWnetと呼ばれる機能埋め込みネットワークを構築し、このネットワークは高周波情報を抽出するのにより効果的である。
  論文  参考訳（メタデータ） (2023-05-05T08:13:53Z)
• SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage [75.0473791925894]
  光のステージは、様々な照明と視点の下で被写体の顔の外観を捉えるために、調整されたカメラとライトを使用する。 残念なことに、ライトステージは高価であり、建設と運用に重要な技術的専門知識を必要とするため、アクセスできないことが多い。 SunStageは、スマートフォンのカメラと太陽だけを使って、同等のデータをキャプチャするライトステージの軽量な代替品だ。
  論文  参考訳（メタデータ） (2022-04-07T17:59:51Z)
• CERL: A Unified Optimization Framework for Light Enhancement with Realistic Noise [81.47026986488638]
  現実世界で撮影された低照度画像は、センサーノイズによって必然的に破損する。 既存の光強調法は、拡張中の現実世界のノイズの重要な影響を見落としているか、ノイズ除去を別の前処理または後処理のステップとして扱うかのどちらかである。 実世界の低照度雑音画像(CERL)のコーディネート・エンハンスメントを行い,光強調部と雑音抑制部を一体化・物理接地したフレームワークにシームレスに統合する。
  論文  参考訳（メタデータ） (2021-08-01T15:31:15Z)
• Photon-Starved Scene Inference using Single Photon Cameras [14.121328731553868]
  本稿では,PPPレベルの広い範囲にまたがる高SNR画像の集合体として,光子スケール空間を提案する。 特徴表現空間において、異なる照明レベルの画像を互いに近接させる訓練手法を開発した。 提案手法に基づいて,SPADカメラを用いたシミュレーションおよび実実験により,各種推論タスクの高性能化を実証する。
  論文  参考訳（メタデータ） (2021-07-23T02:27:03Z)
• Noise-Aware Merging of High Dynamic Range Image Stacks without Camera Calibration [14.715418812634939]
  本稿では,より単純なポアソン雑音推定器を用いて,等価分散の偏りのない推定値が得られることを示す。 スマートフォンのカメラから、フルフレームのミラーレスカメラまで、4種類のカメラでこれを実証しています。
  論文  参考訳（メタデータ） (2020-09-16T23:26:17Z)
• Dynamic Low-light Imaging with Quanta Image Sensors [79.28256402267034]
  本稿では,Quanta Image Sensors (QIS) を用いた新しい画像再構成アルゴリズムを提案する。 動的シーンは,光子レベルが1ピクセル当たり1光子である場合,フレームのバーストから再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-16T20:29:52Z)
• Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
  我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。 提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
  論文  参考訳（メタデータ） (2020-05-06T13:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。