論文の概要: Low Latency Video Denoising for Online Conferencing Using CNN Architectures

• arxiv url: http://arxiv.org/abs/2302.08638v1
• Date: Fri, 17 Feb 2023 00:55:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 16:15:11.681052
• Title: Low Latency Video Denoising for Online Conferencing Using CNN Architectures
• Title（参考訳）: CNNアーキテクチャを用いたオンライン会議のための低レイテンシビデオDenoising
• Authors: Altanai Bisht, Ana Carolina de Souza Mendes, Justin David Thoreson II, Shadrokh Samavi
• Abstract要約: 本稿では,ランタイムコストが低く,知覚品質の高いリアルタイムビデオデノナイズのためのパイプラインを提案する。 カスタムノイズ検出器アナライザは、重みに適応し、モデルの出力を改善するためにリアルタイムフィードバックを提供する。
• 参考スコア（独自算出の注目度）: 4.7805617044617446
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we propose a pipeline for real-time video denoising with low runtime cost and high perceptual quality. The vast majority of denoising studies focus on image denoising. However, a minority of research works focusing on video denoising do so with higher performance costs to obtain higher quality while maintaining temporal coherence. The approach we introduce in this paper leverages the advantages of both image and video-denoising architectures. Our pipeline first denoises the keyframes or one-fifth of the frames using HI-GAN blind image denoising architecture. Then, the remaining four-fifths of the noisy frames and the denoised keyframe data are fed into the FastDVDnet video denoising model. The final output is rendered in the user's display in real-time. The combination of these low-latency neural network architectures produces real-time denoising with high perceptual quality with applications in video conferencing and other real-time media streaming systems. A custom noise detector analyzer provides real-time feedback to adapt the weights and improve the models' output.
• Abstract（参考訳）: 本稿では,ランタイムコストが低く,知覚品質が高いリアルタイムビデオデノベーションのためのパイプラインを提案する。 デノナイジング研究の大半はイメージデノナイジングに焦点を当てている。 しかし、時間的コヒーレンスを維持しつつ高い品質を得るために、高いパフォーマンスコストでビデオのデノベーションに焦点を当てた研究は少数である。 本論文で紹介するアプローチは,画像と映像のデオライズアーキテクチャの利点を生かしている。 私たちのパイプラインはまず、HI-GANブラインド画像デノイングアーキテクチャを使用して、フレームのキーフレームまたは1/5を識別します。 そして、このFastDVDnetビデオ復調モデルに、残りの4分の4のノイズフレームと復調キーフレームデータを供給する。 最終的な出力はユーザのディスプレイにリアルタイムでレンダリングされる。 これらの低レイテンシニューラルネットワークアーキテクチャの組み合わせは、ビデオ会議やその他のリアルタイムメディアストリーミングシステムにおける応用と、知覚的品質の高いリアルタイムデノーミングを生み出す。 カスタムノイズ検出アナライザは、重みを適応させ、モデルの出力を改善するためにリアルタイムのフィードバックを提供する。

関連論文リスト

• Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers [30.965705043127144]
  本稿では,TAP (Temporal As aTAP) という,教師なしのビデオデノベーションフレームワークを提案する。 時間的加群を組み込むことで、ノイズの多いフレームをまたがる時間的情報を活用することができ、空間的 denoising のパワーを補完することができる。 他の教師なしビデオ復号化手法と比較して,本フレームワークは,SRGBと生ビデオ復号化データセットの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-17T15:05:33Z)
• Heterogeneous window transformer for image denoising [59.953076646860985]
  画像復調のためのヘテロジニアスウィンドウトランス (HWformer) を提案する。 提案されているHWformerは、一般的なRestormerの30%しか利用できない。
  論文  参考訳（メタデータ） (2024-07-08T08:10:16Z)
• Video Dynamics Prior: An Internal Learning Approach for Robust Video Enhancements [83.5820690348833]
  外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。 提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
  論文  参考訳（メタデータ） (2023-12-13T01:57:11Z)
• RViDeformer: Efficient Raw Video Denoising Transformer with a Larger Benchmark Dataset [16.131438855407175]
  教師付き生ビデオのデノベーションのためのリアルな動きを持つ大規模なデータセットは存在しない。 ノイズクリーンな120グループからなるビデオデノケーションデータセット(ReCRVDと名づけられた)を構築した。 短距離・長距離の相関関係を探索するRViDeformer(RViDeformer)を提案する。
  論文  参考訳（メタデータ） (2023-05-01T11:06:58Z)
• Real-time Streaming Video Denoising with Bidirectional Buffers [48.57108807146537]
  リアルタイムDenoisingアルゴリズムは、通常、ビデオストリームの撮影と送信にかかわるノイズを取り除くために、ユーザーデバイスに採用されている。 最近のマルチアウトプット推論は、双方向の時間的特徴を並列または繰り返しのフレームワークで伝達する。 本研究では,過去と未来の両方の時間的受容場を持つストリーミングビデオに対して,高忠実度リアルタイムデノナイズを実現するための双方向ストリーミングビデオデノナイズフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-14T14:01:03Z)
• Efficient Burst Raw Denoising with Variance Stabilization and Multi-frequency Denoising Network [39.829676908118806]
  スマートフォンには小さな開口部と小さなセンサーセルがあり、低光環境下でノイズの多い画像を生み出す。 本稿では,ノイズ事前統合,マルチフレームアライメント,マルチフレームデノナイズに基づく効率的なバーストデノナイズシステムを提案する。 私たちの3段階設計は効率的で、バーストデノイングで強い性能を示す。
  論文  参考訳（メタデータ） (2022-05-10T07:46:45Z)
• Learning Spatial and Spatio-Temporal Pixel Aggregations for Image and Video Denoising [104.59305271099967]
  ピクセル集計ネットワークを提示し、画像デノイジングのためのピクセルサンプリングと平均戦略を学びます。 時間空間にまたがるサンプル画素をビデオデノナイズするための画素集約ネットワークを開発した。 本手法は,動的シーンにおける大きな動きに起因する誤認問題を解決することができる。
  論文  参考訳（メタデータ） (2021-01-26T13:00:46Z)
• Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
  Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。 ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。 デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
  論文  参考訳（メタデータ） (2021-01-08T02:03:25Z)
• Learning Model-Blind Temporal Denoisers without Ground Truths [46.778450578529814]
  合成データで訓練されたデノイザーは、未知のノイズの多様性に対処できないことが多い。 従来の画像ベース手法は、ビデオデノイザに直接適用した場合、ノイズが過度に収まる。 本稿では,これらの課題に対処する上で有効な,ビデオ・デノベーション・ネットワークの汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-07T07:19:48Z)
• First image then video: A two-stage network for spatiotemporal video denoising [19.842488445174524]
  ビデオデノナイジングとは、ノイズが破損したデータからノイズを取り除き、真のモーション信号を回復することである。 既存のビデオデノゲーションのアプローチは、ぼやけたアーチファクトに悩まされる傾向にあり、移動物体の境界はぼやけたように見える傾向にある。 本稿では,画像デノナイズモジュールと時間内ビデオデノナイズモジュールからなる,第1像から第2段階のデノナイズニューラルネットワークを提案する。 品質と計算の両面から、Vimeo90Kデータセットを識別するビデオ上で、最先端のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2020-01-02T07:21:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。