論文の概要: Time-series Initialization and Conditioning for Video-agnostic Stabilization of Video Super-Resolution using Recurrent Networks

• arxiv url: http://arxiv.org/abs/2403.15832v1
• Date: Sat, 23 Mar 2024 13:16:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 20:52:58.800357
• Title: Time-series Initialization and Conditioning for Video-agnostic Stabilization of Video Super-Resolution using Recurrent Networks
• Title（参考訳）: リカレントネットワークを用いたビデオ超解像の時間系列初期化とビデオ非依存安定化のための条件付け
• Authors: Hiroshi Mori, Norimichi Ukita,
• Abstract要約: ビデオスーパーレゾリューション(VSR)のためのリカレントニューラルネットワーク(RNN)は、通常ランダムにクリップされ、トリミングされた短いビデオで訓練される。 このRNNは超解像ショートビデオに最適化されているため、長いビデオのVSRはドメインギャップのために劣化する。 本稿では,VSRにおけるRNNのトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 13.894981567082997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Recurrent Neural Network (RNN) for Video Super Resolution (VSR) is generally trained with randomly clipped and cropped short videos extracted from original training videos due to various challenges in learning RNNs. However, since this RNN is optimized to super-resolve short videos, VSR of long videos is degraded due to the domain gap. Our preliminary experiments reveal that such degradation changes depending on the video properties, such as the video length and dynamics. To avoid this degradation, this paper proposes the training strategy of RNN for VSR that can work efficiently and stably independently of the video length and dynamics. The proposed training strategy stabilizes VSR by training a VSR network with various RNN hidden states changed depending on the video properties. Since computing such a variety of hidden states is time-consuming, this computational cost is reduced by reusing the hidden states for efficient training. In addition, training stability is further improved with frame-number conditioning. Our experimental results demonstrate that the proposed method performed better than base methods in videos with various lengths and dynamics.
• Abstract（参考訳）: ビデオスーパーレゾリューション(VSR)のためのリカレントニューラルネットワーク(RNN)は、RNNを学習する際のさまざまな課題により、オリジナルのトレーニングビデオからランダムにクリップされ、トリミングされたショートビデオで訓練される。 しかし、このRNNは超解像ショートビデオに最適化されているため、長いビデオのVSRはドメインギャップのために劣化する。 予備実験により,映像長やダイナミックスなどの映像特性によって劣化が変化することが明らかとなった。 この劣化を回避するため,ビデオ長とダイナミックスとは独立して効率的に安定に動作可能なVSR用RNNのトレーニング戦略を提案する。 提案したトレーニング戦略は、ビデオ特性に応じて様々なRNN隠れ状態を変化させたVSRネットワークをトレーニングすることで、VSRを安定化させる。 このような隠蔽状態の計算には時間を要するため、効率的な訓練のために隠蔽状態を再利用することで、この計算コストを削減できる。 さらに、フレームナンバー条件付けにより、トレーニング安定性がさらに向上する。 実験により,提案手法は,様々な長さとダイナミックスを持つビデオにおいて,ベース手法よりも優れた性能を示した。

関連論文リスト

• Cascaded Temporal Updating Network for Efficient Video Super-Resolution [47.63267159007611]
  リカレントベースのVSRネットワークにおけるキーコンポーネントはモデル効率に大きな影響を及ぼす。 本稿では,効率的なVSRのための時空間更新ネットワーク(CTUN)を提案する。 CTUNは,従来の方法に比べて効率と性能のトレードオフが良好である。
  論文  参考訳（メタデータ） (2024-08-26T12:59:32Z)
• Structured Sparsity Learning for Efficient Video Super-Resolution [99.1632164448236]
  我々は、ビデオ超解像(VSR)モデルの特性に応じて、構造化スパシティ学習(SSL)と呼ばれる構造化プルーニング手法を開発する。 SSLでは,残差ブロック,リカレントネットワーク,アップサンプリングネットワークなど,VSRモデルのいくつかの重要なコンポーネントに対するプルーニングスキームを設計する。
  論文  参考訳（メタデータ） (2022-06-15T17:36:04Z)
• Accelerating the Training of Video Super-Resolution [26.449738545078986]
  そこで本研究では,ビデオモデルを小型から大型の空間的・時間的サイズに段階的に訓練することが可能であることを示す。 本手法は, 各種VSRモデルの性能低下を伴わずに, トレーニングの大幅な高速化(ウォールクロックトレーニング時間で最大6.2倍のスピードアップ)が可能となる。
  論文  参考訳（メタデータ） (2022-05-10T17:55:24Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• Stable Long-Term Recurrent Video Super-Resolution [0.45880283710344055]
  リプシッツ安定性理論に基づいて、安定かつ競争力のある再帰VSRネットワークの新たな枠組みを導入する。 本稿では,この枠組みに基づいて,MRVSR(Middle Recurrent Video Super-Resolution)と呼ばれる新たなリカレントVSRネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T15:12:52Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• Self-Supervised Adaptation for Video Super-Resolution [7.26562478548988]
  シングルイメージスーパーリゾリューション(SISR)ネットワークは、特定の入力画像にネットワークパラメータを適応させることができます。 従来のビデオスーパーレゾリューション(VSR)ネットワークがビデオフレームをテストするためにパラメータを適応できるようにする新しい学習アルゴリズムを紹介します。
  論文  参考訳（メタデータ） (2021-03-18T08:30:24Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Revisiting Temporal Modeling for Video Super-resolution [47.90584361677039]
  ビデオ超解像のための3つの時間的モデリング手法(初期核融合2次元CNN、低核融合3次元CNN、リカレントニューラルネットワーク)について検討・比較を行った。 また,Recurrent Residual Network (RRN) を提案し,RNNのトレーニングの安定化を図る。
  論文  参考訳（メタデータ） (2020-08-13T09:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。