論文の概要: Ada-VSR: Adaptive Video Super-Resolution with Meta-Learning

• arxiv url: http://arxiv.org/abs/2108.02832v1
• Date: Thu, 5 Aug 2021 19:59:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-09 14:26:43.250159
• Title: Ada-VSR: Adaptive Video Super-Resolution with Meta-Learning
• Title（参考訳）: Ada-VSR:メタラーニングによる適応型ビデオ超解法
• Authors: Akash Gupta, Padmaja Jonnalagedda, Bir Bhanu, Amit K. Roy-Chowdhury
• Abstract要約: VideoSuperResolution(Ada-SR)は、メタトランスファー学習と内部学習を通じて、それぞれ外部および内部情報を使用する。 提案手法を用いてトレーニングしたモデルでは,若干の勾配更新しか行わず,特定の映像条件に迅速に適応できるため,推論時間を大幅に短縮できる。
• 参考スコア（独自算出の注目度）: 56.676110454594344
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Most of the existing works in supervised spatio-temporal video super-resolution (STVSR) heavily rely on a large-scale external dataset consisting of paired low-resolution low-frame rate (LR-LFR)and high-resolution high-frame-rate (HR-HFR) videos. Despite their remarkable performance, these methods make a prior assumption that the low-resolution video is obtained by down-scaling the high-resolution video using a known degradation kernel, which does not hold in practical settings. Another problem with these methods is that they cannot exploit instance-specific internal information of video at testing time. Recently, deep internal learning approaches have gained attention due to their ability to utilize the instance-specific statistics of a video. However, these methods have a large inference time as they require thousands of gradient updates to learn the intrinsic structure of the data. In this work, we presentAdaptiveVideoSuper-Resolution (Ada-VSR) which leverages external, as well as internal, information through meta-transfer learning and internal learning, respectively. Specifically, meta-learning is employed to obtain adaptive parameters, using a large-scale external dataset, that can adapt quickly to the novel condition (degradation model) of the given test video during the internal learning task, thereby exploiting external and internal information of a video for super-resolution. The model trained using our approach can quickly adapt to a specific video condition with only a few gradient updates, which reduces the inference time significantly. Extensive experiments on standard datasets demonstrate that our method performs favorably against various state-of-the-art approaches.
• Abstract（参考訳）: 監視時空間ビデオ超解像(STVSR)における既存の研究の多くは、ペア化された低解像度低フレームレート(LR-LFR)と高解像度高フレームレート(HR-HFR)のビデオからなる大規模な外部データセットに大きく依存している。 これらの手法は、その優れた性能にもかかわらず、既知の劣化カーネルを用いて高解像度映像をダウンスケールすることで低解像度映像が得られると仮定する。 これらの方法のもうひとつの問題は、テスト時にビデオのインスタンス固有の内部情報を活用できないことだ。 近年,ビデオのインスタンス固有の統計情報を活用する能力により,深層学習アプローチが注目されている。 しかし、これらのメソッドはデータの内部構造を学ぶために数千の勾配更新を必要とするため、大きな推論時間を持つ。 本稿では,メタトランスファー学習と内部学習による外部情報と内部情報を活用するadaptivevideo super- resolution (ada-vsr)を提案する。 具体的には、内部学習タスク中に与えられたテストビデオの新しい条件(劣化モデル)に迅速に適応できる大規模な外部データセットを用いて適応パラメータを得るためにメタラーニングを用い、ビデオの外的・内的情報を超解像に活用する。 提案手法を用いてトレーニングしたモデルでは,若干の勾配更新しか行わず,特定の映像条件に迅速に適応できるため,推論時間を大幅に短縮できる。 標準データセットに対する大規模な実験により,本手法は様々な最先端手法に対して良好に機能することを示した。

関連論文リスト

• Weakly Supervised Video Anomaly Detection and Localization with Spatio-Temporal Prompts [57.01985221057047]
  本稿では、事前学習された視覚言語モデル(VLM)に基づく、弱教師付きビデオ異常検出および局所化のための時間的プロンプト埋め込み(WSVADL)を学習する新しい手法を提案する。 提案手法は,WSVADLタスクの3つの公開ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-12T03:31:29Z)
• Video Dynamics Prior: An Internal Learning Approach for Robust Video Enhancements [83.5820690348833]
  外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。 提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
  論文  参考訳（メタデータ） (2023-12-13T01:57:11Z)
• Enabling Weakly-Supervised Temporal Action Localization from On-Device Learning of the Video Stream [5.215681853828831]
  長編未編集のストリーミングビデオから学習するための効率的なビデオ学習手法を提案する。 私たちの知る限りでは、オンデバイスで長いビデオストリームから直接学習する最初の試みです。
  論文  参考訳（メタデータ） (2022-08-25T13:41:03Z)
• Combining Contrastive and Supervised Learning for Video Super-Resolution Detection [0.0]
  コントラストとクロスエントロピーの損失を用いた視覚表現の学習に基づく新しいアップスケール分解能検出法を提案する。 本手法は,圧縮ビデオにおいてもアップスケーリングを効果的に検出し,最先端の代替品よりも優れる。
  論文  参考訳（メタデータ） (2022-05-20T18:58:13Z)
• Self-Supervised Deep Blind Video Super-Resolution [46.410705294831374]
  本稿では,視覚ビデオSR問題を解決するための自己教師付き学習手法を提案する。 我々は、ビデオSRの画像形成に応じて、元のLRビデオから補助的なペアデータを生成する。 実験により,本手法は,ベンチマークや実世界のビデオにおいて,最先端の手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-01-19T05:18:44Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Self-Supervised Adaptation for Video Super-Resolution [7.26562478548988]
  シングルイメージスーパーリゾリューション(SISR)ネットワークは、特定の入力画像にネットワークパラメータを適応させることができます。 従来のビデオスーパーレゾリューション(VSR)ネットワークがビデオフレームをテストするためにパラメータを適応できるようにする新しい学習アルゴリズムを紹介します。
  論文  参考訳（メタデータ） (2021-03-18T08:30:24Z)
• Incremental Learning from Low-labelled Stream Data in Open-Set Video Face Recognition [0.0]
  本稿では,深層機能エンコーダとSVMのオープンセット動的アンサンブルを組み合わせた新しいインクリメンタル学習手法を提案する。 本手法は,教師なしの操作データを用いて認識性を向上させる。 結果は、非適応状態の方法に対する最大15%のF1スコア増加の利点を示しています。
  論文  参考訳（メタデータ） (2020-12-17T13:28:13Z)
• Temporal Context Aggregation for Video Retrieval with Contrastive Learning [81.12514007044456]
  フレームレベルの特徴間の時間的長距離情報を組み込んだビデオ表現学習フレームワークTCAを提案する。 提案手法は,映像レベルの特徴を持つ最先端の手法に対して,FIVR-200Kでは17% mAPの大幅な性能上の優位性を示す。
  論文  参考訳（メタデータ） (2020-08-04T05:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。