論文の概要: Recurrence-in-Recurrence Networks for Video Deblurring
- arxiv url: http://arxiv.org/abs/2203.06418v1
- Date: Sat, 12 Mar 2022 11:58:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 16:45:28.915926
- Title: Recurrence-in-Recurrence Networks for Video Deblurring
- Title(参考訳): ビデオデブロアリングのための再帰帰ネットワーク
- Authors: Joonkyu Park, Seungjun Nah, Kyoung Mu Lee
- Abstract要約: 最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。
本稿では,短距離メモリの限界に対処する再帰型ネットワークアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 58.49075799159015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art video deblurring methods often adopt recurrent neural
networks to model the temporal dependency between the frames. While the hidden
states play key role in delivering information to the next frame, abrupt motion
blur tend to weaken the relevance in the neighbor frames. In this paper, we
propose recurrence-in-recurrence network architecture to cope with the
limitations of short-ranged memory. We employ additional recurrent units inside
the RNN cell. First, we employ inner-recurrence module (IRM) to manage the
long-ranged dependency in a sequence. IRM learns to keep track of the cell
memory and provides complementary information to find the deblurred frames.
Second, we adopt an attention-based temporal blending strategy to extract the
necessary part of the information in the local neighborhood. The adpative
temporal blending (ATB) can either attenuate or amplify the features by the
spatial attention. Our extensive experimental results and analysis validate the
effectiveness of IRM and ATB on various RNN architectures.
- Abstract(参考訳): 最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。
隠れた状態が次のフレームに情報を伝える上で重要な役割を果たす一方で、突然の動きのぼけは隣のフレームの関連性を弱める傾向にある。
本稿では,短期記憶の限界に対処するために再帰的ネットワークアーキテクチャを提案する。
RNNセル内に追加のリカレントユニットを投入する。
まず、シーケンス内の長距離依存性を管理するためにインナー・リカレンス・モジュール(IRM)を用いる。
IRMは、セルメモリの追跡を学習し、劣化したフレームを見つけるための補完情報を提供する。
第2に,地域情報の必要な部分を抽出するために,注意に基づく時間的ブレンディング戦略を採用する。
適応時間ブレンディング(ATB)は、空間的注意により特徴を減衰または増幅することができる。
各種RNNアーキテクチャにおけるITMおよびATBの有効性を実験的に検証した。
関連論文リスト
- Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate [17.611912733951662]
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、時間的依存をモデル化する能力で有名である。
本稿では,バニラRNNの時間的モデリング能力を高めるために,DMU(Delayed Memory Unit)を提案する。
提案したDMUは、広範囲の逐次モデリングタスクにおいて優れた時間的モデリング能力を示す。
論文 参考訳(メタデータ) (2023-10-23T14:29:48Z) - Message Propagation Through Time: An Algorithm for Sequence Dependency
Retention in Time Series Modeling [14.49997340857179]
本稿では,時系列モデリングのためのMPTT(Message Propagation Through Time)アルゴリズムを提案する。
MPTTは、ステートフルなソリューションと比較して、より高速なトレーニング時間を保ちながら、長時間の時間的依存を取り入れている。
実験の結果,MPTTは4つの気候データセットにおいて7つの戦略より優れていた。
論文 参考訳(メタデータ) (2023-09-28T22:38:18Z) - Sliding Window Recurrent Network for Efficient Video Super-Resolution [0.0]
ビデオ超解像(VSR)は、高解像度のフレームを低解像度の入力列から復元するタスクである。
本研究では,テキストスライディングウィンドウをベースとしたリカレントネットワーク(SWRN)を提案する。
筆者らはREDSデータセットを用いて,提案手法をモバイルデバイスに適用し,視覚的に快適な結果が得られることを示した。
論文 参考訳(メタデータ) (2022-08-24T15:23:44Z) - Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。
我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。
我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
論文 参考訳(メタデータ) (2022-07-20T07:26:15Z) - BGaitR-Net: Occluded Gait Sequence reconstructionwith temporally
constrained model for gait recognition [1.151614782416873]
入力シーケンスで隠蔽されたフレームを識別する,新しいディープラーニングベースのアルゴリズムを開発した。
次に、歩行シーケンスに存在する次の時間情報を利用して、これらのフレームを再構築する。
我々のLSTMモデルでは,歩行周期の周期パターンと時間的に整合するフレームを再構成し,オクルージョンを生成する。
論文 参考訳(メタデータ) (2021-10-18T18:28:18Z) - Group-based Bi-Directional Recurrent Wavelet Neural Networks for Video
Super-Resolution [4.9136996406481135]
ビデオ超解像(VSR)は、低解像度(LR)フレームから高解像度(HR)フレームを推定することを目的としている。
VSRの鍵となる課題は、フレーム内の空間的相関と連続フレーム間の時間的依存を効果的に活用することにある。
論文 参考訳(メタデータ) (2021-06-14T06:36:13Z) - Reconstructive Sequence-Graph Network for Video Summarization [107.0328985865372]
キーショットベースのビデオ要約には,インナーショットとインショット間の依存関係の活用が不可欠だ。
フレームとショットをシーケンスおよびグラフ階層としてエンコードする再構成シーケンスグラフネットワーク(RSGN)を提案する。
リコンストラクタを開発し、サマリージェネレータに報奨を与えることにより、ジェネレータを教師なしの方法で最適化することができる。
論文 参考訳(メタデータ) (2021-05-10T01:47:55Z) - Temporal Memory Relation Network for Workflow Recognition from Surgical
Video [53.20825496640025]
本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。
我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
論文 参考訳(メタデータ) (2021-03-30T13:20:26Z) - A Prospective Study on Sequence-Driven Temporal Sampling and Ego-Motion
Compensation for Action Recognition in the EPIC-Kitchens Dataset [68.8204255655161]
行動認識はコンピュータビジョンにおける最上位の研究分野の一つである。
エゴモーション記録シーケンスは重要な関連性を持つようになった。
提案手法は,このエゴモーションやカメラの動きを推定して対処することを目的としている。
論文 参考訳(メタデータ) (2020-08-26T14:44:45Z) - Co-Saliency Spatio-Temporal Interaction Network for Person
Re-Identification in Videos [85.6430597108455]
本稿では,ビデオにおける人物の身元確認のためのCSTNet(Co-Saliency Spatio-Temporal Interaction Network)を提案する。
ビデオフレーム間の共通した有意な前景領域をキャプチャし、そのような領域からの空間的時間的長距離コンテキストの相互依存性を探索する。
CSTNet内の複数の空間的時間的相互作用モジュールを提案し,その特徴と空間的時間的情報相関の空間的・時間的長期的相互依存性を利用した。
論文 参考訳(メタデータ) (2020-04-10T10:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。