論文の概要: Unidirectional Video Denoising by Mimicking Backward Recurrent Modules with Look-ahead Forward Ones

• arxiv url: http://arxiv.org/abs/2204.05532v1
• Date: Tue, 12 Apr 2022 05:33:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 13:12:27.621344
• Title: Unidirectional Video Denoising by Mimicking Backward Recurrent Modules with Look-ahead Forward Ones
• Title（参考訳）: 後方追従モジュールと前方追従モジュールの混在による一方向映像認識
• Authors: Junyi Li, Xiaohe Wu, Zhenxin Niu, and Wangmeng Zuo
• Abstract要約: 双方向リカレントネットワーク (BiRNN) は、いくつかのビデオ復元作業において魅力的な性能を示した。 BiRNNは本質的にオフラインである。最後のフレームから現在のフレームへ伝播するために、後方リカレントモジュールを使用するからだ。 本稿では,一方向ビデオ復調のための前方および前方再帰モジュールからなる新しいリカレントネットワークを提案する。
• 参考スコア（独自算出の注目度）: 72.68740880786312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While significant progress has been made in deep video denoising, it remains very challenging for exploiting historical and future frames. Bidirectional recurrent networks (BiRNN) have exhibited appealing performance in several video restoration tasks. However, BiRNN is intrinsically offline because it uses backward recurrent modules to propagate from the last to current frames, which causes high latency and large memory consumption. To address the offline issue of BiRNN, we present a novel recurrent network consisting of forward and look-ahead recurrent modules for unidirectional video denoising. Particularly, look-ahead module is an elaborate forward module for leveraging information from near-future frames. When denoising the current frame, the hidden features by forward and look-ahead recurrent modules are combined, thereby making it feasible to exploit both historical and near-future frames. Due to the scene motion between non-neighboring frames, border pixels missing may occur when warping look-ahead feature from near-future frame to current frame, which can be largely alleviated by incorporating forward warping and border enlargement. Experiments show that our method achieves state-of-the-art performance with constant latency and memory consumption. The source code and pre-trained models will be publicly available.
• Abstract（参考訳）: ディープ・ビデオのDeep Denoisingでは大きな進歩があったが、歴史的および将来のフレームを利用するのは非常に難しい。 双方向リカレントネットワーク (BiRNN) は、いくつかのビデオ復元作業において魅力的な性能を示した。 しかし、birnnは本質的にオフラインであるため、下位のリカレントモジュールを使用してラストフレームから現在のフレームに伝播し、高いレイテンシと大きなメモリ消費を引き起こす。 BiRNNのオフライン問題に対処するため,一方向映像復調のためのフォワードとルックアヘッドのリカレントモジュールからなる新しいリカレントネットワークを提案する。 特にlook-aheadモジュールは、近未来のフレームからの情報を活用するための精巧な前方モジュールである。 現行のフレームを飾る際、前向きと後向きのリカレントモジュールによる隠蔽特徴を組み合わせ、歴史的および近未来のフレームを活用できるようにする。 隣接しないフレーム間のシーン移動により、近未来のフレームから現在のフレームへのルックアヘッド特徴の歪曲時に境界画素が欠落する可能性がある。 実験により,本手法は一定レイテンシとメモリ消費で最先端の性能を実現することを示す。 ソースコードと事前訓練されたモデルが公開される。

関連論文リスト

• A Practical Gated Recurrent Transformer Network Incorporating Multiple Fusions for Video Denoising [1.5044085747326295]
  State-of-the-art(SOTA)ビデオ復調法では,複数フレーム同時復調機構を採用している。 本稿では,単一フレーム遅延のみでSOTA性能を実現するマルチフュージョンゲート・リカレント・トランスフォーマネットワーク(GRTN)を提案する。
  論文  参考訳（メタデータ） (2024-09-10T15:55:53Z)
• LaneTCA: Enhancing Video Lane Detection with Temporal Context Aggregation [87.71768494466959]
  LaneTCAは個々のビデオフレームをブリッジし、時間的コンテキストを効果的に集約する方法を探る。 本研究では,長期的・短期的文脈を抽象化するアキュマティブアテンションモジュールと隣接アテンションモジュールを開発する。 2つのモジュールは、トランスフォーマーアーキテクチャに基づいて慎重に設計されている。
  論文  参考訳（メタデータ） (2024-08-25T14:46:29Z)
• Recurrent Self-Supervised Video Denoising with Denser Receptive Field [33.3711070590966]
  自己監督型ビデオデノベーションは、盲点ネットワークを利用することで、かなり進歩している。 従来の自己監督型ビデオデノゲーション手法は、参照フレーム全体または隣接フレーム内の重要な情報損失とテクスチャ破壊に悩まされていた。 本稿では、より密集した受容場を持つ参照フレームと隣接フレームの両方をフル活用する自己教師型ビデオデノベーションのためのRDRFを提案する。
  論文  参考訳（メタデータ） (2023-08-07T14:09:08Z)
• Towards Smooth Video Composition [59.134911550142455]
  ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。 本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。 単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-12-14T18:54:13Z)
• Real-time Streaming Video Denoising with Bidirectional Buffers [48.57108807146537]
  リアルタイムDenoisingアルゴリズムは、通常、ビデオストリームの撮影と送信にかかわるノイズを取り除くために、ユーザーデバイスに採用されている。 最近のマルチアウトプット推論は、双方向の時間的特徴を並列または繰り返しのフレームワークで伝達する。 本研究では,過去と未来の両方の時間的受容場を持つストリーミングビデオに対して,高忠実度リアルタイムデノナイズを実現するための双方向ストリーミングビデオデノナイズフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-14T14:01:03Z)
• Pay Attention to Hidden States for Video Deblurring: Ping-Pong Recurrent Neural Networks and Selective Non-Local Attention [58.49075799159015]
  ビデオデブロアリングのためのRNNアーキテクチャを補完する2つのモジュールを提案する。 まず,隠蔽状態の更新を行うPing-Pong RNNの設計を行う。 次に、Selective Non-Local Attention(SNLA)モジュールを用いて、入力フレームの特徴からの位置情報と整列することで、隠れた状態をさらに洗練する。
  論文  参考訳（メタデータ） (2022-03-30T05:21:05Z)
• Memory-Augmented Non-Local Attention for Video Super-Resolution [61.55700315062226]
  低解像度(LR)ビデオから高忠実度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。 従来の方法は、主に時間的隣のフレームを利用して、現在のフレームの超解像を支援する。 対照的に、フレームアライメントなしでビデオの超解像を可能にするクロスフレーム非局所アテンション機構を考案する。
  論文  参考訳（メタデータ） (2021-08-25T05:12:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。