論文の概要: Self-Supervised Adaptation for Video Super-Resolution
- arxiv url: http://arxiv.org/abs/2103.10081v1
- Date: Thu, 18 Mar 2021 08:30:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-19 14:01:42.638317
- Title: Self-Supervised Adaptation for Video Super-Resolution
- Title(参考訳): ビデオ超解像に対する自己超解像適応法
- Authors: Jinsu Yoo and Tae Hyun Kim
- Abstract要約: シングルイメージスーパーリゾリューション(SISR)ネットワークは、特定の入力画像にネットワークパラメータを適応させることができます。
従来のビデオスーパーレゾリューション(VSR)ネットワークがビデオフレームをテストするためにパラメータを適応できるようにする新しい学習アルゴリズムを紹介します。
- 参考スコア(独自算出の注目度): 7.26562478548988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent single-image super-resolution (SISR) networks, which can adapt their
network parameters to specific input images, have shown promising results by
exploiting the information available within the input data as well as large
external datasets. However, the extension of these self-supervised SISR
approaches to video handling has yet to be studied. Thus, we present a new
learning algorithm that allows conventional video super-resolution (VSR)
networks to adapt their parameters to test video frames without using the
ground-truth datasets. By utilizing many self-similar patches across space and
time, we improve the performance of fully pre-trained VSR networks and produce
temporally consistent video frames. Moreover, we present a test-time knowledge
distillation technique that accelerates the adaptation speed with less hardware
resources. In our experiments, we demonstrate that our novel learning algorithm
can fine-tune state-of-the-art VSR networks and substantially elevate
performance on numerous benchmark datasets.
- Abstract(参考訳): 最近のsingle-image super- resolution (sisr)ネットワークは、ネットワークパラメータを特定の入力画像に適応させることができ、入力データ内に存在する情報と大きな外部データセットを活用し、有望な結果を示している。
しかし、ビデオハンドリングに対するこれらの自己教師型SISRアプローチの拡張はまだ研究されていない。
そこで本研究では,従来のビデオスーパーレゾリューション(vsr)ネットワークが,地上データセットを使用せずにそのパラメータをビデオフレームに適用できる新しい学習アルゴリズムを提案する。
空間と時間にまたがる多数の自己相似パッチを利用することで、vsrネットワークの完全な事前学習性能を改善し、時間的に一貫性のあるビデオフレームを生成する。
また,より少ないハードウェアリソースで適応速度を高速化する試験時間知識蒸留技術を提案する。
本実験では,新たな学習アルゴリズムが最先端のvsrネットワークを微調整し,多数のベンチマークデータセットのパフォーマンスを実質的に向上できることを実証する。
関連論文リスト
- Cascaded Temporal Updating Network for Efficient Video Super-Resolution [47.63267159007611]
リカレントベースのVSRネットワークにおけるキーコンポーネントはモデル効率に大きな影響を及ぼす。
本稿では,効率的なVSRのための時空間更新ネットワーク(CTUN)を提案する。
CTUNは,従来の方法に比べて効率と性能のトレードオフが良好である。
論文 参考訳(メタデータ) (2024-08-26T12:59:32Z) - Neighbourhood Representative Sampling for Efficient End-to-end Video
Quality Assessment [60.57703721744873]
リアルタイムビデオの高解像度化は、VQA(Deep Video Quality Assessment)の効率性と精度のジレンマを示す
そこで本研究では,空間時空間格子型ミニキューブサンプリング(St-GMS)を統一的に提案し,新しいタイプのフラグメントを抽出する。
フラグメントとFANetにより、提案された効率的なエンドツーエンドのFAST-VQAとFasterVQAは、既存のVQAベンチマークよりも大幅にパフォーマンスが向上した。
論文 参考訳(メタデータ) (2022-10-11T11:38:07Z) - Sliding Window Recurrent Network for Efficient Video Super-Resolution [0.0]
ビデオ超解像(VSR)は、高解像度のフレームを低解像度の入力列から復元するタスクである。
本研究では,テキストスライディングウィンドウをベースとしたリカレントネットワーク(SWRN)を提案する。
筆者らはREDSデータセットを用いて,提案手法をモバイルデバイスに適用し,視覚的に快適な結果が得られることを示した。
論文 参考訳(メタデータ) (2022-08-24T15:23:44Z) - Boosting Video Super Resolution with Patch-Based Temporal Redundancy
Optimization [46.833568886576074]
静止物体と背景を持つパッチにおける時間的冗長性の影響について論じる。
我々は,既存の局所的および非局所的伝搬型VSRアルゴリズムの性能向上のための,シンプルで効果的な2つのプラグアンドプレイ法を開発した。
論文 参考訳(メタデータ) (2022-07-18T15:11:18Z) - Ada-VSR: Adaptive Video Super-Resolution with Meta-Learning [56.676110454594344]
VideoSuperResolution(Ada-SR)は、メタトランスファー学習と内部学習を通じて、それぞれ外部および内部情報を使用する。
提案手法を用いてトレーニングしたモデルでは,若干の勾配更新しか行わず,特定の映像条件に迅速に適応できるため,推論時間を大幅に短縮できる。
論文 参考訳(メタデータ) (2021-08-05T19:59:26Z) - Real-Time Super-Resolution System of 4K-Video Based on Deep Learning [6.182364004551161]
ビデオレゾリューション(VSR)技術は低品質のビデオ計算において優れており、職業ベースのアルゴリズムによって生じる不快なブラー効果を回避している。
本稿では、リアルタイムVSシステムの可能性について検討し、EGVSRと呼ばれる効率的な汎用VSRネットワークを設計する。
現在最も先進的なVSRネットワークであるTecoGANと比較して、密度の84%削減と7.92倍の性能向上を実現している。
論文 参考訳(メタデータ) (2021-07-12T10:35:05Z) - DynaVSR: Dynamic Adaptive Blind Video Super-Resolution [60.154204107453914]
DynaVSRは、現実世界のビデオSRのための新しいメタラーニングベースのフレームワークである。
様々な種類の合成ボケカーネルを備えたマルチフレームダウンスケーリングモジュールをトレーニングし、入力認識適応のためのビデオSRネットワークとシームレスに結合する。
実験結果から,DynaVSRは最先端のビデオSRモデルの性能を一定に向上することがわかった。
論文 参考訳(メタデータ) (2020-11-09T15:07:32Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-26T16:59:48Z) - Fast Adaptation to Super-Resolution Networks via Meta-Learning [24.637337634643885]
本研究では、従来のSRネットワークのアーキテクチャを変更することなく、SISRの性能をさらに向上する機会を観察する。
トレーニング段階では,メタラーニングによりネットワークをトレーニングし,テスト時に任意の入力画像に迅速に適応させることができる。
提案手法は,様々なベンチマークSRデータセット上での従来のSRネットワークの性能を一貫して向上することを示す。
論文 参考訳(メタデータ) (2020-01-09T09:59:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。