論文の概要: Online Overexposed Pixels Hallucination in Videos with Adaptive
Reference Frame Selection
- arxiv url: http://arxiv.org/abs/2308.15462v1
- Date: Tue, 29 Aug 2023 17:40:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 13:02:31.276173
- Title: Online Overexposed Pixels Hallucination in Videos with Adaptive
Reference Frame Selection
- Title（参考訳）: 適応参照フレーム選択によるオンライン過剰露光画像の幻覚
- Authors: Yazhou Xing, Amrita Mazumdar, Anjul Patney, Chao Liu, Hongxu Yin,
Qifeng Chen, Jan Kautz, Iuri Frosio
- Abstract要約: 低ダイナミックレンジ(LDR)カメラは広いダイナミックレンジ入力に対応できず、しばしば局所的な露出問題を引き起こす。
複雑な処理機構を使わずにこれらの成果物を削減できる学習ベースシステムを提案する。
- 参考スコア（独自算出の注目度）: 90.35085487641773
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low dynamic range (LDR) cameras cannot deal with wide dynamic range inputs,
frequently leading to local overexposure issues. We present a learning-based
system to reduce these artifacts without resorting to complex acquisition
mechanisms like alternating exposures or costly processing that are typical of
high dynamic range (HDR) imaging. We propose a transformer-based deep neural
network (DNN) to infer the missing HDR details. In an ablation study, we show
the importance of using a multiscale DNN and train it with the proper cost
function to achieve state-of-the-art quality. To aid the reconstruction of the
overexposed areas, our DNN takes a reference frame from the past as an
additional input. This leverages the commonly occurring temporal instabilities
of autoexposure to our advantage: since well-exposed details in the current
frame may be overexposed in the future, we use reinforcement learning to train
a reference frame selection DNN that decides whether to adopt the current frame
as a future reference. Without resorting to alternating exposures, we obtain
therefore a causal, HDR hallucination algorithm with potential application in
common video acquisition settings. Our demo video can be found at
https://drive.google.com/file/d/1-r12BKImLOYCLUoPzdebnMyNjJ4Rk360/view
- Abstract（参考訳）: 低ダイナミックレンジ(LDR)カメラは広いダイナミックレンジ入力に対応できず、しばしば局所的な露出問題を引き起こす。
本研究では,高ダイナミックレンジ(HDR)イメージングの典型である露出の交互化やコスト処理といった複雑な取得機構に頼ることなく,これらのアーティファクトを削減する学習ベースシステムを提案する。
HDRの詳細を推測するために,トランスフォーマーに基づくディープニューラルネットワーク(DNN)を提案する。
アブレーション研究において,マルチスケールdnnを用いて適切なコスト関数で訓練し,最先端品質を達成することの重要性を示した。
過剰に露出した領域の再構築を支援するため、我々のDNNは過去の参照フレームを付加入力として取り込む。
これは、一般的に発生する時間的自己暴露の不安定さを、我々の利点に生かしている: 現在のフレームの頻出した詳細は、将来過剰に露呈する可能性があるので、我々は、現在のフレームを将来の参照として採用するかを決定するための参照フレーム選択DNNをトレーニングするために強化学習を使用する。
そこで我々は,同時露光に頼らずに,一般的なビデオ取得設定に適用可能な因果的HDR幻覚アルゴリズムを得る。
デモビデオはhttps://drive.google.com/file/d/1-r12bkimloycluopzdebnmynj4rk360/viewで閲覧できます。
関連論文リスト
- Exposure Completing for Temporally Consistent Neural High Dynamic Range Video Rendering [17.430726543786943]
本稿では,不在な露光情報を完成させることで,HDRフレームを描画する新しいパラダイムを提案する。
提案手法では, 隣接LDRフレームを時間次元で補間し, 露出の欠如に対してLDRフレームを再構成する。
これにより、HDR結果の融合プロセスの恩恵を受け、ノイズやゴーストを低減し、時間的一貫性を向上させることができる。
論文 参考訳（メタデータ） (2024-07-18T09:13:08Z) - Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry
from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。
実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-12-26T08:10:22Z) - Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in
Dynamic Scenes [58.66427721308464]
Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。
Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-10-03T07:10:49Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳（メタデータ） (2023-04-14T05:30:02Z) - SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked
Autoencoders [97.64072440883392]
そこで本研究では,SSHDRと呼ばれる2段階の訓練を通した短距離HDRイメージングを実現するための,新しい半教師付きアプローチを提案する。
以前の方法とは異なり、コンテンツを直接回復し、ゴーストを同時に除去することは、最適に達成することが難しい。
実験により、SSHDRは異なるデータセットの内外における定量的かつ定性的に最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-04-14T03:42:51Z) - HDR Imaging with Spatially Varying Signal-to-Noise Ratios [15.525314212209564]
低照度HDRイメージングでは、1つの露光におけるノイズは空間的に変化する。
既存の画像復号化アルゴリズムとHDR融合アルゴリズムはどちらもこの状況に対処できない。
本研究では,空間変化高ダイナミックレンジ(SV-)融合ネットワークと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-30T09:32:29Z) - Multi-Exposure HDR Composition by Gated Swin Transformer [8.619880437958525]
本稿では,Swin Transformerに基づく新しいマルチ露光融合モデルを提案する。
露光空間ピラミッドにおける遠距離文脈依存性を自己認識機構により活用する。
実験により,本モデルが現在のマルチ露光HDR画像モデルと同等の精度が得られることが示された。
論文 参考訳（メタデータ） (2023-03-15T15:38:43Z) - GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。
鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。
実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
論文 参考訳（メタデータ） (2022-11-22T15:42:08Z) - Self-supervised HDR Imaging from Motion and Exposure Cues [14.57046548797279]
本稿では,学習可能なHDR推定のための新たな自己教師型アプローチを提案する。
実験の結果,提案手法を用いて訓練したHDRモデルは,全監督下で訓練したモデルと性能の競争力を発揮することがわかった。
論文 参考訳（メタデータ） (2022-03-23T10:22:03Z) - HDRVideo-GAN: Deep Generative HDR Video Reconstruction [19.837271879354184]
本稿では,LDR シーケンスからのHDR ビデオ再構成を交互に行うための,エンドツーエンドの GAN ベースのフレームワークを提案する。
まず、ノイズの多いLDRビデオからクリーンなLDRフレームを抽出し、自己教師付き環境で訓練された聴覚ネットワークと交互に露光する。
次に、隣接する交互露光フレームを基準フレームに整列し、完全対向設定で高品質なHDRフレームを再構成する。
論文 参考訳（メタデータ） (2021-10-22T14:02:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。