論文の概要: Across Scales & Across Dimensions: Temporal Super-Resolution using Deep Internal Learning

• arxiv url: http://arxiv.org/abs/2003.08872v3
• Date: Thu, 15 Oct 2020 10:09:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 04:33:20.376432
• Title: Across Scales & Across Dimensions: Temporal Super-Resolution using Deep Internal Learning
• Title（参考訳）: Across Scales and Across Dimensions: 深層学習を用いた時間的超解法
• Authors: Liad Pollak Zuckerman, Eyal Naor, George Pisha, Shai Bagon, Michal Irani
• Abstract要約: 我々は、低フレームの入力ビデオから直接抽出した例に基づいて、ビデオ固有のCNNを訓練する。 提案手法は,単一ビデオシーケンス内の小さな時空間パッチの強い再帰性を利用する。 ビデオフレームの高解像度化は、そのビデオの時間分解能を高めるための強力な例を提供する。
• 参考スコア（独自算出の注目度）: 11.658606722158517
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: When a very fast dynamic event is recorded with a low-framerate camera, the resulting video suffers from severe motion blur (due to exposure time) and motion aliasing (due to low sampling rate in time). True Temporal Super-Resolution (TSR) is more than just Temporal-Interpolation (increasing framerate). It can also recover new high temporal frequencies beyond the temporal Nyquist limit of the input video, thus resolving both motion-blur and motion-aliasing effects that temporal frame interpolation (as sophisticated as it maybe) cannot undo. In this paper we propose a "Deep Internal Learning" approach for true TSR. We train a video-specific CNN on examples extracted directly from the low-framerate input video. Our method exploits the strong recurrence of small space-time patches inside a single video sequence, both within and across different spatio-temporal scales of the video. We further observe (for the first time) that small space-time patches recur also across-dimensions of the video sequence - i.e., by swapping the spatial and temporal dimensions. In particular, the higher spatial resolution of video frames provides strong examples as to how to increase the temporal resolution of that video. Such internal video-specific examples give rise to strong self-supervision, requiring no data but the input video itself. This results in Zero-Shot Temporal-SR of complex videos, which removes both motion blur and motion aliasing, outperforming previous supervised methods trained on external video datasets.
• Abstract（参考訳）: 低フレームカメラで非常に高速なダイナミックイベントを記録すると、結果として生じるビデオは、(露光時間による)激しい動きのぼやけと、(時間のサンプリングレートが低いため)動きのエイリアスに苦しむ。 真の時間的超解像(tsr)は単に時間的補間(フレームレートの増大)以上のものである。 また、入力ビデオの時間的ニキスト限界を超える新しい高時間周波数を復元し、時間的フレーム補間(おそらくは洗練された)が不可能なモーションブルー効果とモーションエイリアス効果の両方を解消する。 本稿では,真のTSRに対する「深層内部学習」手法を提案する。 低フレームの入力ビデオから抽出したサンプルにビデオ固有のcnnを訓練する。 提案手法は,ビデオの時空間スケール内および時間間隔の異なる1つのビデオシーケンス内において,小さな時空間パッチの強い再帰性を利用する。 さらに、空間的および時間的次元を切り替えることで、小さな時空間パッチがビデオシーケンスの寸法をまたいで再帰することを(初めて)観察する。 特に、ビデオフレームの高解像度化は、そのビデオの時間分解能を高める方法についての強い例を提供する。 このような内部ビデオ固有の例は、入力ビデオ自体にデータを必要としない強力な自己スーパービジョンをもたらす。 これにより、複雑なビデオのZero-ShotテンポラルSRが実現し、モーションボケとモーションエイリアシングの両方を取り除き、外部ビデオデータセットでトレーニングされた従来の教師付き手法よりも優れている。

関連論文リスト

• Towards Interpretable Video Super-Resolution via Alternating Optimization [115.85296325037565]
  低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。 本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T21:34:05Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• Unsupervised Video Interpolation by Learning Multilayered 2.5D Motion Fields [75.81417944207806]
  本稿では,ビデオフレーム学習において,単一のビデオのみを必要とする自己教師型アプローチを提案する。 時間変化運動場上に定義された通常の微分可能方程式(ODE)を解くことにより,映像の動きをパラメータ化する。 この暗黙的な神経表現は、ビデオを時空間連続体として学習し、任意の時間分解能でフレーム時間連続体を可能にする。
  論文  参考訳（メタデータ） (2022-04-21T06:17:05Z)
• Learning Spatio-Temporal Downsampling for Effective Video Upscaling [20.07194339353278]
  本稿では,時空間ダウンサンプリングとアップサンプリングを学習することで,時空間エイリアス問題を解決することを目的とする。 我々のフレームワークは、任意のビデオリサンプリング、ぼやけたフレーム再構築、効率的なビデオストレージなど、様々なアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-03-15T17:59:00Z)
• Video Frame Interpolation without Temporal Priors [91.04877640089053]
  ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。 フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。 我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
  論文  参考訳（メタデータ） (2021-12-02T12:13:56Z)
• Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution [100.11355888909102]
  時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。 入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:23Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。