論文の概要: BlazeBVD: Make Scale-Time Equalization Great Again for Blind Video Deflickering

• arxiv url: http://arxiv.org/abs/2403.06243v1
• Date: Sun, 10 Mar 2024 15:56:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 06:45:10.771767
• Title: BlazeBVD: Make Scale-Time Equalization Great Again for Blind Video Deflickering
• Title（参考訳）: BlazeBVD: ブラインドビデオのデクリッカリングでスケールタイムの等化を再び行う
• Authors: Xinmin Qiu, Congying Han, Zicheng Zhang, Bonan Li, Tiande Guo, Pingyu Wang, Xuecheng Nie
• Abstract要約: 高精細度・高速ブラインドビデオデクリッカリングのためのヒストグラム支援ソリューションBlazeBVDを導入する。 BlazeBVDはSTEフィルタ内のスムーズな照明ヒストグラムを用いて、時間データ学習の難しさを緩和する。 推論速度は最先端の10倍にも達する。
• 参考スコア（独自算出の注目度）: 13.476629715971221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing blind video deflickering (BVD) algorithms to enhance video temporal consistency, is gaining importance amid the flourish of image processing and video generation. However, the intricate nature of video data complicates the training of deep learning methods, leading to high resource consumption and instability, notably under severe lighting flicker. This underscores the critical need for a compact representation beyond pixel values to advance BVD research and applications. Inspired by the classic scale-time equalization (STE), our work introduces the histogram-assisted solution, called BlazeBVD, for high-fidelity and rapid BVD. Compared with STE, which directly corrects pixel values by temporally smoothing color histograms, BlazeBVD leverages smoothed illumination histograms within STE filtering to ease the challenge of learning temporal data using neural networks. In technique, BlazeBVD begins by condensing pixel values into illumination histograms that precisely capture flickering and local exposure variations. These histograms are then smoothed to produce singular frames set, filtered illumination maps, and exposure maps. Resorting to these deflickering priors, BlazeBVD utilizes a 2D network to restore faithful and consistent texture impacted by lighting changes or localized exposure issues. BlazeBVD also incorporates a lightweight 3D network to amend slight temporal inconsistencies, avoiding the resource consumption issue. Comprehensive experiments on synthetic, real-world and generated videos, showcase the superior qualitative and quantitative results of BlazeBVD, achieving inference speeds up to 10x faster than state-of-the-arts.
• Abstract（参考訳）: 映像処理や映像生成が盛んである中,映像時間整合性を高めるブラインドビデオデクリッケリング(bvd)アルゴリズムの開発が重要になっている。 しかし、ビデオデータの複雑な性質は、深層学習法の訓練を複雑にし、特に厳しい照明フリックの下で、高いリソース消費と不安定性をもたらす。 これはbvd研究と応用を進めるためにピクセル値を超えたコンパクト表現の必要性を強調する。 古典的スケールタイム等化(STE)にインスパイアされた本研究では,高忠実かつ迅速なBVDのためのヒストグラム支援ソリューションBlazeBVDを紹介した。 色ヒストグラムを時間的に滑らかにすることでピクセル値を直接補正するSTEと比較して、BlazeBVDはSTEフィルタ内のスムーズな照明ヒストグラムを利用して、ニューラルネットワークを用いて時間データを学習することの難しさを緩和する。 blazebvdはまずピクセル値を照明ヒストグラムに凝縮し、フリックや局所露出の変動を正確に捉える。 これらのヒストグラムは、特異なフレームセット、フィルター付き照明マップ、露出マップを生成するために平滑化される。 BlazeBVDは2Dネットワークを利用して、照明の変化や局所的な露光問題の影響を受け、忠実で一貫したテクスチャを復元する。 BlazeBVDには軽量な3Dネットワークも組み込まれており、時間的不整合をわずかに修正し、リソース消費の問題を回避する。 合成、現実世界、生成されたビデオに関する総合的な実験では、BlazeBVDの質的かつ定量的な結果が示され、推論速度は最先端の10倍速い。

関連論文リスト

• Buffer Anytime: Zero-Shot Video Depth and Normal from Image Priors [54.8852848659663]
  Buffer Anytimeは、ビデオから深さと正規マップ(幾何バッファと呼ばれる)を推定するためのフレームワークです。 時間的整合性制約を持つ単一画像の先行値を活用することによって,高品質なビデオバッファ推定を実証する。
  論文  参考訳（メタデータ） (2024-11-26T09:28:32Z)
• LightningDrag: Lightning Fast and Accurate Drag-based Image Editing Emerging from Videos [101.59710862476041]
  1秒で高速なドラッグベースの画像編集を可能にするLightningDragを提案する。 従来の方法とは異なり、条件生成タスクとしてドラッグベースの編集を再定義する。 提案手法は, 精度と整合性の観点から, 従来手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2024-05-22T15:14:00Z)
• Personalized Video Relighting With an At-Home Light Stage [0.0]
  我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。 モニタでYouTubeビデオを見ているユーザの録画をキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2023-11-15T10:33:20Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Deep Parametric 3D Filters for Joint Video Denoising and Illumination Enhancement in Video Super Resolution [96.89588203312451]
  本稿では,Deep Parametric 3D Filters (DP3DF) と呼ばれる新しいパラメトリック表現を提案する。 DP3DFは、ローカル情報を組み込んで、単一エンコーダ/デコーダネットワークにおいて、同時復調、照明強化、SRを効率的に実現している。 また、動的残留フレームを共有バックボーンを介してDP3DFと共同で学習し、SR品質をさらに向上させる。
  論文  参考訳（メタデータ） (2022-07-05T03:57:25Z)
• When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation [47.617222712429026]
  既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。 まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。 第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
  論文  参考訳（メタデータ） (2022-06-28T09:29:55Z)
• Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
  本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。 エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。 また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:13:28Z)
• Nighttime Dehazing with a Synthetic Benchmark [147.21955799938115]
  昼間の鮮明な画像から夜間のハズイ画像をシミュレートする3Rという新しい合成法を提案する。 実空間の光色を以前の経験的分布からサンプリングすることにより,現実的な夜間ハズイ画像を生成する。 実験結果は、画像の品質と実行時間の両方の観点から、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-10T02:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。