論文の概要: Non-Uniform Exposure Imaging via Neuromorphic Shutter Control

• arxiv url: http://arxiv.org/abs/2404.13972v1
• Date: Mon, 22 Apr 2024 08:28:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 14:45:41.428580
• Title: Non-Uniform Exposure Imaging via Neuromorphic Shutter Control
• Title（参考訳）: ニューロモルフィックシャッター制御による非均一露光イメージング
• Authors: Mingyuan Lin, Jian Liu, Chi Zhang, Zibo Zhao, Chu He, Lei Yu,
• Abstract要約: 動作のぼやけを回避し,瞬時雑音を軽減する新しいニューロモルフィックシャッター制御(NSC)システムを提案する。 本稿では,SNR(Inconsistent Signal-to-Noise Ratio)を安定化させるために,自己教師付き学習パラダイム内でのイベントベース画像復調ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 9.519068512865463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By leveraging the blur-noise trade-off, imaging with non-uniform exposures largely extends the image acquisition flexibility in harsh environments. However, the limitation of conventional cameras in perceiving intra-frame dynamic information prevents existing methods from being implemented in the real-world frame acquisition for real-time adaptive camera shutter control. To address this challenge, we propose a novel Neuromorphic Shutter Control (NSC) system to avoid motion blurs and alleviate instant noises, where the extremely low latency of events is leveraged to monitor the real-time motion and facilitate the scene-adaptive exposure. Furthermore, to stabilize the inconsistent Signal-to-Noise Ratio (SNR) caused by the non-uniform exposure times, we propose an event-based image denoising network within a self-supervised learning paradigm, i.e., SEID, exploring the statistics of image noises and inter-frame motion information of events to obtain artificial supervision signals for high-quality imaging in real-world scenes. To illustrate the effectiveness of the proposed NSC, we implement it in hardware by building a hybrid-camera imaging prototype system, with which we collect a real-world dataset containing well-synchronized frames and events in diverse scenarios with different target scenes and motion patterns. Experiments on the synthetic and real-world datasets demonstrate the superiority of our method over state-of-the-art approaches.
• Abstract（参考訳）: ぼやけたノイズのトレードオフを活用することで、一様でない露光による撮像は、厳しい環境下での画像取得の柔軟性を大きく広げる。 しかし,フレーム内ダイナミック情報を知覚する従来のカメラの限界は,リアルタイム適応カメラシャッター制御のための実世界のフレーム取得において,既存手法の実装を妨げている。 この課題に対処するために、動作のぼやけを回避し、瞬時ノイズを軽減する新しいニューロモルフィックシャッター制御(NSC)システムを提案する。 さらに、非一様露光時間による不整合信号-雑音比(SNR)の安定化を図るため、実世界のシーンにおける高品質な画像撮影のための人工的な監視信号を得るために、自己教師付き学習パラダイム(SEID)内で、画像ノイズの統計とイベントのフレーム間移動情報を探索するイベントベース画像復調ネットワークを提案する。 提案手法の有効性を説明するため,ハイブリッドカメラのプロトタイプシステムを構築し,異なるターゲットシーンや動作パターンの異なる様々なシナリオにおいて,適切に同期されたフレームやイベントを含む実世界のデータセットを収集する。 合成および実世界のデータセットに関する実験は、我々の手法が最先端のアプローチよりも優れていることを示す。

関連論文リスト

• SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams [44.02794438687478]
  スパイクカメラは、動きの特徴を捉え、この不適切な問題を解くのに有効であることが証明されている。 既存の手法は教師付き学習パラダイムに陥り、現実のシナリオに適用した場合、顕著なパフォーマンス劣化に悩まされる。 本研究では,スパイク誘導動作の劣化に対する最初の自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-14T15:29:09Z)
• SMURF: Continuous Dynamics for Motion-Deblurring Radiance Fields [14.681688453270523]
  本稿では,ニューラル常微分方程式(Neural-ODE)を用いて連続カメラの動きをモデル化する新しい手法である,逐次的動き理解放射場(SMURF)を提案する。 我々のモデルは、ベンチマークデータセットに対して厳密に評価され、定量的かつ定性的に最先端のパフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-03-12T11:32:57Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
  Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。 本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。 RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-23T12:56:01Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Recovering Continuous Scene Dynamics from A Single Blurry Image with Events [58.7185835546638]
  インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。 両モードの利点を効果的に活用するために、二重注意変換器を提案する。 提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
  論文  参考訳（メタデータ） (2023-04-05T18:44:17Z)
• Joint Video Multi-Frame Interpolation and Deblurring under Unknown Exposure Time [101.91824315554682]
  本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。 我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。 次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
  論文  参考訳（メタデータ） (2023-03-27T09:43:42Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。