論文の概要: Pix2HDR -- A pixel-wise acquisition and deep learning-based synthesis approach for high-speed HDR videos

• arxiv url: http://arxiv.org/abs/2310.16139v1
• Date: Tue, 24 Oct 2023 19:27:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 18:29:33.086968
• Title: Pix2HDR -- A pixel-wise acquisition and deep learning-based synthesis approach for high-speed HDR videos
• Title（参考訳）: Pix2HDR -- 高速HDRビデオのための画素単位の取得と深層学習に基づく合成アプローチ
• Authors: Caixin Wang, Jie Zhang, Matthew A. Wilson, Ralph Etienne-Cummings
• Abstract要約: カメラのフレームレートがダイナミックレンジを制限するため、高速ハイダイナミックレンジ()ビデオは困難である。 既存の手法は、マルチ露光フレームを取得するために速度を犠牲にするが、これらのフレーム内の不一致な動きは、HDR融合アルゴリズムに作用する。 我々は高ダイナミックレンジでの高速な動きを同時にキャプチャする画素ワイズサンプリングパターンを実装した。 我々は、深層ニューラルネットワークから学習した重みを使って、ピクセルワイズ出力をHDRビデオに変換する。
• 参考スコア（独自算出の注目度）: 2.4853801691267807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurately capturing dynamic scenes with wide-ranging motion and light intensity is crucial for many vision applications. However, acquiring high-speed high dynamic range (HDR) video is challenging because the camera's frame rate restricts its dynamic range. Existing methods sacrifice speed to acquire multi-exposure frames. Yet, misaligned motion in these frames can still pose complications for HDR fusion algorithms, resulting in artifacts. Instead of frame-based exposures, we sample the videos using individual pixels at varying exposures and phase offsets. Implemented on a pixel-wise programmable image sensor, our sampling pattern simultaneously captures fast motion at a high dynamic range. We then transform pixel-wise outputs into an HDR video using end-to-end learned weights from deep neural networks, achieving high spatiotemporal resolution with minimized motion blurring. We demonstrate aliasing-free HDR video acquisition at 1000 FPS, resolving fast motion under low-light conditions and against bright backgrounds - both challenging conditions for conventional cameras. By combining the versatility of pixel-wise sampling patterns with the strength of deep neural networks at decoding complex scenes, our method greatly enhances the vision system's adaptability and performance in dynamic conditions.
• Abstract（参考訳）: 広い動きと光強度でダイナミックなシーンを正確に捉えることは、多くの視覚アプリケーションにとって不可欠である。 しかし、カメラのフレームレートがダイナミックレンジを制限するため、高速ハイダイナミックレンジ(HDR)ビデオの取得は困難である。 既存の方法はマルチ露光フレームを取得するために速度を犠牲にする。 しかし、これらのフレーム内の不整合運動は、なおもHDR融合アルゴリズムの複雑さを生じさせ、成果物をもたらす。 フレームベースの露光の代わりに、個々のピクセルを様々な露光や位相オフセットでサンプリングする。 ピクセル単位でプログラマブルなイメージセンサに実装したサンプリングパターンは,高速動作を同時に高ダイナミックレンジでキャプチャする。 次に,ディープニューラルネットワークによるエンドツーエンド学習重みを用いて,画素毎の出力をhdrビデオに変換し,動きのぼやけを最小限に抑えながら,高い時空間分解能を達成する。 我々は、1000FPSでエイリアスフリーのHDRビデオの取得を実証し、低照度条件下での高速な動きと明るい背景を解消する。 複雑なシーンをデコードする際の深層ニューラルネットワークの強度と画素ワイドサンプリングパターンの汎用性を組み合わせることにより,動的条件下での視覚システムの適応性と性能を大幅に向上させる。

関連論文リスト

• Event-based Asynchronous HDR Imaging by Temporal Incident Light Modulation [54.64335350932855]
  我々は,HDRイメージングの課題に関する重要な知見に基づいて,Pixel-Asynchronous HDRイメージングシステムを提案する。 提案システムでは,DVS(Dynamic Vision Sensors)とLCDパネルを統合する。 LCDパネルは、その透過性を変化させてDVSの照射インシデントを変調し、ピクセル非依存のイベントストリームをトリガーする。
  論文  参考訳（メタデータ） (2024-03-14T13:45:09Z)
• Lightweight High-Speed Photography Built on Coded Exposure and Implicit Neural Representation of Videos [34.152901518593396]
  高速シーンを高解像度で記録できるコンパクトカメラの需要は着実に増加している。 しかし、そのような能力を達成するには、しばしば高帯域幅の要求が伴うため、低容量のプラットフォームには不適当で重いシステムになる。 本稿では,ビデオの暗黙的表現と古典的符号化露光画像技術を組み合わせることで,これらの課題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T03:41:13Z)
• LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video Reconstruction [20.911738532410766]
  本稿では,LDRフレームを特徴空間に整列させ,その特徴をHDRフレームにマージする,エンドツーエンドのHDRビデオ合成フレームワークを提案する。 トレーニングでは、フレーム再構築損失に加えて時間的損失を採用し、時間的一貫性を高め、フリッカリングを低減する。
  論文  参考訳（メタデータ） (2023-08-22T01:43:00Z)
• Joint Video Multi-Frame Interpolation and Deblurring under Unknown Exposure Time [101.91824315554682]
  本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。 我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。 次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
  論文  参考訳（メタデータ） (2023-03-27T09:43:42Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Deep Progressive Feature Aggregation Network for High Dynamic Range Imaging [24.94466716276423]
  本研究では,動的シーンにおけるHDR画像の画質向上のための高度な特徴集約ネットワークを提案する。 提案手法は,高対応特徴を暗黙的にサンプリングし,それらを粗い方法で集約してアライメントする。 実験の結果,提案手法は異なるシーン下での最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2022-08-04T04:37:35Z)
• High Dynamic Range and Super-Resolution from Raw Image Bursts [52.341483902624006]
  本稿では,露光ブラケット付きハンドヘルドカメラで撮影した原写真からの高解像度・高ダイナミックレンジカラー画像の再構成について紹介する。 提案アルゴリズムは,画像復元における最先端の学習手法と比較して,メモリ要求の少ない高速なアルゴリズムである。 実験では、ハンドヘルドカメラで野生で撮影された実際の写真に最大4ドル(約4,800円)の超高解像度な要素で優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-29T13:31:28Z)
• Towards Interpretable Video Super-Resolution via Alternating Optimization [115.85296325037565]
  低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。 本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T21:34:05Z)
• Self-supervised HDR Imaging from Motion and Exposure Cues [14.57046548797279]
  本稿では,学習可能なHDR推定のための新たな自己教師型アプローチを提案する。 実験の結果,提案手法を用いて訓練したHDRモデルは,全監督下で訓練したモデルと性能の競争力を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-03-23T10:22:03Z)
• Exposure Trajectory Recovery from Motion Blur [90.75092808213371]
  ダイナミックシーンにおける動きのぼやけは重要な研究テーマである。 本稿では、ぼやけた画像に含まれる動き情報を表す露光軌跡を定義する。 静止シャープ画像の画素方向の変位をモデル化するための新しい動きオフセット推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-06T05:23:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。