論文の概要: Real-time Streaming Video Denoising with Bidirectional Buffers
- arxiv url: http://arxiv.org/abs/2207.06937v1
- Date: Thu, 14 Jul 2022 14:01:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-15 14:18:25.769668
- Title: Real-time Streaming Video Denoising with Bidirectional Buffers
- Title（参考訳）: 双方向バッファを用いたリアルタイムストリーミングビデオ
- Authors: Chenyang Qi, Junming Chen, Xin Yang, Qifeng Chen
- Abstract要約: リアルタイムDenoisingアルゴリズムは、通常、ビデオストリームの撮影と送信にかかわるノイズを取り除くために、ユーザーデバイスに採用されている。
最近のマルチアウトプット推論は、双方向の時間的特徴を並列または繰り返しのフレームワークで伝達する。
本研究では,過去と未来の両方の時間的受容場を持つストリーミングビデオに対して,高忠実度リアルタイムデノナイズを実現するための双方向ストリーミングビデオデノナイズフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 48.57108807146537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video streams are delivered continuously to save the cost of storage and
device memory. Real-time denoising algorithms are typically adopted on the user
device to remove the noise involved during the shooting and transmission of
video streams. However, sliding-window-based methods feed multiple input frames
for a single output and lack computation efficiency. Recent multi-output
inference works propagate the bidirectional temporal feature with a parallel or
recurrent framework, which either suffers from performance drops on the
temporal edges of clips or can not achieve online inference. In this paper, we
propose a Bidirectional Streaming Video Denoising (BSVD) framework, to achieve
high-fidelity real-time denoising for streaming videos with both past and
future temporal receptive fields. The bidirectional temporal fusion for online
inference is considered not applicable in the MoViNet. However, we introduce a
novel Bidirectional Buffer Block as the core module of our BSVD, which makes it
possible during our pipeline-style inference. In addition, our method is
concise and flexible to be utilized in both non-blind and blind video
denoising. We compare our model with various state-of-the-art video denoising
models qualitatively and quantitatively on synthetic and real noise. Our method
outperforms previous methods in terms of restoration fidelity and runtime. Our
source code is publicly available at https://github.com/ChenyangQiQi/BSVD
- Abstract（参考訳）: ビデオストリームは、ストレージとデバイスメモリのコストを節約するために継続的に配信される。
ビデオストリームの撮影や送信中に発生するノイズを取り除くために、リアルタイムのデノイジングアルゴリズムが一般的にユーザデバイスで採用されている。
しかし、スライディングウィンドウベースの手法は、複数の入力フレームを単一の出力に供給し、計算効率に欠ける。
最近のマルチアウトプット推論は、双方向の時間的特徴を並列または再帰的なフレームワークで伝達し、クリップの時間的エッジのパフォーマンス低下に苦しむか、オンライン推論ができない。
本稿では,過去と未来の両方の時間的受容領域を有するストリーミングビデオに対して,高忠実度リアルタイムデノイジングを実現するための双方向ストリーミングビデオデノイジング(bsvd)フレームワークを提案する。
オンライン推論のための双方向時間融合は、MoViNetには適用されないと考えられている。
しかし,bsvdのコアモジュールとして,新たな双方向バッファブロックを導入することで,パイプライン型推論が可能となった。
さらに,本手法は簡潔かつ柔軟であり,非盲検・盲検の両方で使用することができる。
我々は,合成ノイズと実雑音の質的,定量的に,最先端のビデオデノゲーションモデルと比較した。
本手法は, 復元率と実行時間において, 従来の手法よりも優れていた。
ソースコードはhttps://github.com/ChenyangQiQi/BSVDで公開されています。
関連論文リスト
- Live2Diff: Live Stream Translation via Uni-directional Attention in Video Diffusion Models [64.2445487645478]
大規模言語モデルは、テキストやオーディオなどのストリーミングデータの生成において顕著な効果を示している。
本稿では,一方向の時間的注意を向けたビデオ拡散モデルを設計するための最初の試みであるLive2Diffを紹介する。
論文 参考訳（メタデータ） (2024-07-11T17:34:51Z) - SF-V: Single Forward Video Generation Model [57.292575082410785]
そこで本稿では,単段階ビデオ生成モデルを得るための新しい手法を提案する。
実験により,提案手法は計算オーバーヘッドを大幅に低減した合成ビデオの競合生成品質を実現することを示す。
論文 参考訳（メタデータ） (2024-06-06T17:58:27Z) - FIFO-Diffusion: Generating Infinite Videos from Text without Training [44.65468310143439]
FIFO-Diffusionは概念的には、追加のトレーニングなしで無限に長いビデオを生成することができる。
提案手法では, 頭部に完全に識別されたフレームを列挙し, 尾部に新しいランダムノイズフレームを列挙する。
提案手法が既存のテキスト・ビデオ生成ベースラインに対して有望な結果と有効性を示す。
論文 参考訳（メタデータ） (2024-05-19T07:48:41Z) - Recurrent Self-Supervised Video Denoising with Denser Receptive Field [33.3711070590966]
自己監督型ビデオデノベーションは、盲点ネットワークを利用することで、かなり進歩している。
従来の自己監督型ビデオデノゲーション手法は、参照フレーム全体または隣接フレーム内の重要な情報損失とテクスチャ破壊に悩まされていた。
本稿では、より密集した受容場を持つ参照フレームと隣接フレームの両方をフル活用する自己教師型ビデオデノベーションのためのRDRFを提案する。
論文 参考訳（メタデータ） (2023-08-07T14:09:08Z) - VideoFusion: Decomposed Diffusion Models for High-Quality Video
Generation [88.49030739715701]
本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。
様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
論文 参考訳（メタデータ） (2023-03-15T02:16:39Z) - Low Latency Video Denoising for Online Conferencing Using CNN
Architectures [4.7805617044617446]
本稿では,ランタイムコストが低く,知覚品質の高いリアルタイムビデオデノナイズのためのパイプラインを提案する。
カスタムノイズ検出器アナライザは、重みに適応し、モデルの出力を改善するためにリアルタイムフィードバックを提供する。
論文 参考訳（メタデータ） (2023-02-17T00:55:54Z) - Learning Task-Oriented Flows to Mutually Guide Feature Alignment in
Synthesized and Real Video Denoising [137.5080784570804]
Video Denoisingは、クリーンなノイズを回復するためにビデオからノイズを取り除くことを目的としている。
既存の研究によっては、近辺のフレームから追加の空間的時間的手がかりを利用することで、光学的流れがノイズ発生の助けとなることが示されている。
本稿では,様々なノイズレベルに対してより堅牢なマルチスケール光フロー誘導型ビデオデノイング法を提案する。
論文 参考訳（メタデータ） (2022-08-25T00:09:18Z) - End to End Lip Synchronization with a Temporal AutoEncoder [95.94432031144716]
ビデオ中の唇の動きをオーディオストリームと同期させる問題について検討する。
両領域再帰型ニューラルネットワークを用いて最適アライメントを求める。
アプリケーションとして、既存のビデオストリームとテキストから音声までの音声を強力にアライメントする能力を実証する。
論文 参考訳（メタデータ） (2022-03-30T12:00:18Z) - Restore from Restored: Video Restoration with Pseudo Clean Video [28.057705167363327]
自己管理型ビデオ復号化手法"restore-from-restored"を提案する。
テストフェーズ中に擬似クリーンビデオを用いて事前学習ネットワークを微調整する。
提案した自己超越型学習アルゴリズムを用いて、微調整ビデオ復調ネットワークの復元性能を解析する。
論文 参考訳（メタデータ） (2020-03-09T17:37:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。