論文の概要: BlazeBVD: Make Scale-Time Equalization Great Again for Blind Video
Deflickering
- arxiv url: http://arxiv.org/abs/2403.06243v1
- Date: Sun, 10 Mar 2024 15:56:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 06:45:10.771767
- Title: BlazeBVD: Make Scale-Time Equalization Great Again for Blind Video
Deflickering
- Title(参考訳): BlazeBVD: ブラインドビデオのデクリッカリングでスケールタイムの等化を再び行う
- Authors: Xinmin Qiu, Congying Han, Zicheng Zhang, Bonan Li, Tiande Guo, Pingyu
Wang, Xuecheng Nie
- Abstract要約: 高精細度・高速ブラインドビデオデクリッカリングのためのヒストグラム支援ソリューションBlazeBVDを導入する。
BlazeBVDはSTEフィルタ内のスムーズな照明ヒストグラムを用いて、時間データ学習の難しさを緩和する。
推論速度は最先端の10倍にも達する。
- 参考スコア(独自算出の注目度): 13.476629715971221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing blind video deflickering (BVD) algorithms to enhance video
temporal consistency, is gaining importance amid the flourish of image
processing and video generation. However, the intricate nature of video data
complicates the training of deep learning methods, leading to high resource
consumption and instability, notably under severe lighting flicker. This
underscores the critical need for a compact representation beyond pixel values
to advance BVD research and applications. Inspired by the classic scale-time
equalization (STE), our work introduces the histogram-assisted solution, called
BlazeBVD, for high-fidelity and rapid BVD. Compared with STE, which directly
corrects pixel values by temporally smoothing color histograms, BlazeBVD
leverages smoothed illumination histograms within STE filtering to ease the
challenge of learning temporal data using neural networks. In technique,
BlazeBVD begins by condensing pixel values into illumination histograms that
precisely capture flickering and local exposure variations. These histograms
are then smoothed to produce singular frames set, filtered illumination maps,
and exposure maps. Resorting to these deflickering priors, BlazeBVD utilizes a
2D network to restore faithful and consistent texture impacted by lighting
changes or localized exposure issues. BlazeBVD also incorporates a lightweight
3D network to amend slight temporal inconsistencies, avoiding the resource
consumption issue. Comprehensive experiments on synthetic, real-world and
generated videos, showcase the superior qualitative and quantitative results of
BlazeBVD, achieving inference speeds up to 10x faster than state-of-the-arts.
- Abstract(参考訳): 映像処理や映像生成が盛んである中,映像時間整合性を高めるブラインドビデオデクリッケリング(bvd)アルゴリズムの開発が重要になっている。
しかし、ビデオデータの複雑な性質は、深層学習法の訓練を複雑にし、特に厳しい照明フリックの下で、高いリソース消費と不安定性をもたらす。
これはbvd研究と応用を進めるためにピクセル値を超えたコンパクト表現の必要性を強調する。
古典的スケールタイム等化(STE)にインスパイアされた本研究では,高忠実かつ迅速なBVDのためのヒストグラム支援ソリューションBlazeBVDを紹介した。
色ヒストグラムを時間的に滑らかにすることでピクセル値を直接補正するSTEと比較して、BlazeBVDはSTEフィルタ内のスムーズな照明ヒストグラムを利用して、ニューラルネットワークを用いて時間データを学習することの難しさを緩和する。
blazebvdはまずピクセル値を照明ヒストグラムに凝縮し、フリックや局所露出の変動を正確に捉える。
これらのヒストグラムは、特異なフレームセット、フィルター付き照明マップ、露出マップを生成するために平滑化される。
BlazeBVDは2Dネットワークを利用して、照明の変化や局所的な露光問題の影響を受け、忠実で一貫したテクスチャを復元する。
BlazeBVDには軽量な3Dネットワークも組み込まれており、時間的不整合をわずかに修正し、リソース消費の問題を回避する。
合成、現実世界、生成されたビデオに関する総合的な実験では、BlazeBVDの質的かつ定量的な結果が示され、推論速度は最先端の10倍速い。
関連論文リスト
- Learning Exposure Correction in Dynamic Scenes [26.072632568435306]
我々は、露光不足と露光過多の両方を含む、世界初の実世界のペアビデオデータセットを構築した。
空間アライメントを実現するために,2台のデジタル一眼レフカメラとビームスプリッタを用いて不適切な露光映像と通常の露光映像を同時に撮影する。
本稿では,Retinex理論に基づくビデオ露光補正ネットワーク(VECNet)を提案する。
論文 参考訳(メタデータ) (2024-02-27T08:19:51Z) - Personalized Video Relighting With an At-Home Light Stage [0.0]
我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。
モニタでYouTubeビデオを見ているユーザのビデオをキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
論文 参考訳(メタデータ) (2023-11-15T10:33:20Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳(メタデータ) (2023-03-27T09:43:42Z) - Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。
ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
論文 参考訳(メタデータ) (2022-07-10T13:47:20Z) - Deep Parametric 3D Filters for Joint Video Denoising and Illumination
Enhancement in Video Super Resolution [96.89588203312451]
本稿では,Deep Parametric 3D Filters (DP3DF) と呼ばれる新しいパラメトリック表現を提案する。
DP3DFは、ローカル情報を組み込んで、単一エンコーダ/デコーダネットワークにおいて、同時復調、照明強化、SRを効率的に実現している。
また、動的残留フレームを共有バックボーンを介してDP3DFと共同で学習し、SR品質をさらに向上させる。
論文 参考訳(メタデータ) (2022-07-05T03:57:25Z) - When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth
Estimation [47.617222712429026]
既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。
まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。
第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
論文 参考訳(メタデータ) (2022-06-28T09:29:55Z) - Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。
エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
論文 参考訳(メタデータ) (2021-04-01T14:13:28Z) - Nighttime Dehazing with a Synthetic Benchmark [147.21955799938115]
昼間の鮮明な画像から夜間のハズイ画像をシミュレートする3Rという新しい合成法を提案する。
実空間の光色を以前の経験的分布からサンプリングすることにより,現実的な夜間ハズイ画像を生成する。
実験結果は、画像の品質と実行時間の両方の観点から、最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-08-10T02:16:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。