論文の概要: Real-Time Video Super-Resolution by Joint Local Inference and Global
Parameter Estimation
- arxiv url: http://arxiv.org/abs/2105.02794v1
- Date: Thu, 6 May 2021 16:35:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 15:21:02.220257
- Title: Real-Time Video Super-Resolution by Joint Local Inference and Global
Parameter Estimation
- Title(参考訳): 共同局所推定と大域的パラメータ推定によるリアルタイムビデオ超解法
- Authors: Noam Elron, Alex Itskovich, Shahar S. Yuval, Noam Levy
- Abstract要約: 本稿では,2つのデジタルカメラ撮像過程を異なるスケールでシミュレーションし,トレーニングデータの合成を行う新しい手法を提案する。
本手法は,両画像が自然画像の特性を有する画像対を生成する。
低消費電力エッジデバイスにビデオSRをリアルタイムに適用できる効率的なCNNアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The state of the art in video super-resolution (SR) are techniques based on
deep learning, but they perform poorly on real-world videos (see Figure 1). The
reason is that training image-pairs are commonly created by downscaling a
high-resolution image to produce a low-resolution counterpart. Deep models are
therefore trained to undo downscaling and do not generalize to super-resolving
real-world images. Several recent publications present techniques for improving
the generalization of learning-based SR, but are all ill-suited for real-time
application.
We present a novel approach to synthesizing training data by simulating two
digital-camera image-capture processes at different scales. Our method produces
image-pairs in which both images have properties of natural images. Training an
SR model using this data leads to far better generalization to real-world
images and videos.
In addition, deep video-SR models are characterized by a high
operations-per-pixel count, which prohibits their application in real-time. We
present an efficient CNN architecture, which enables real-time application of
video SR on low-power edge-devices. We split the SR task into two sub-tasks: a
control-flow which estimates global properties of the input video and adapts
the weights and biases of a processing-CNN that performs the actual processing.
Since the process-CNN is tailored to the statistics of the input, its capacity
kept low, while retaining effectivity. Also, since video-statistics evolve
slowly, the control-flow operates at a much lower rate than the video
frame-rate. This reduces the overall computational load by as much as two
orders of magnitude. This framework of decoupling the adaptivity of the
algorithm from the pixel processing, can be applied in a large family of
real-time video enhancement applications, e.g., video denoising, local
tone-mapping, stabilization, etc.
- Abstract(参考訳): state of the art in video super- resolution (sr)はディープラーニングに基づくテクニックだが、実世界のビデオではパフォーマンスが悪い(図1参照)。
その理由は、トレーニング用イメージパイアは、高解像度のイメージをダウンスケールして低解像度のイメージペアを生成することで、一般的に作成されるからです。
したがって、深層モデルはダウンスケールを解き放つように訓練され、現実世界の超解像には一般化されない。
近年のいくつかの出版物では、学習ベースSRの一般化を改善する技術が紹介されているが、全てリアルタイム応用には適していない。
本稿では,2つのデジタルカメラ撮像過程を異なるスケールでシミュレーションし,トレーニングデータの合成を行う新しい手法を提案する。
本手法は,両画像が自然画像の特性を有する画像対を生成する。
このデータを用いたSRモデルのトレーニングは、実世界の画像やビデオよりもはるかに優れた一般化をもたらす。
さらに、ディープビデオSRモデルは、高演算/ピクセル数で特徴付けられ、リアルタイムに使用を禁止している。
低消費電力エッジデバイスにビデオSRをリアルタイムに適用できる効率的なCNNアーキテクチャを提案する。
我々は、SRタスクを2つのサブタスクに分割した: 入力ビデオのグローバルな特性を推定し、実際の処理を行う処理-CNNの重みとバイアスを調整する制御フロー。
プロセスCNNは入力の統計値に合わせて調整されているため、その容量は効果を保ちながら低く保たれた。
また、ビデオ統計はゆっくりと進化するため、制御フローはビデオフレームレートよりもずっと低いレートで動作します。
これにより、全体の計算負荷を最大2桁削減できる。
画素処理からアルゴリズムの適応性を分離するこのフレームワークは、ビデオのデノイング、局所的なトーンマッピング、安定化など、リアルタイムビデオエンハンスメントアプリケーションの大きなファミリに適用することができる。
関連論文リスト
- EfficientSCI: Densely Connected Network with Space-time Factorization
for Large-scale Video Snapshot Compressive Imaging [6.8372546605486555]
圧縮率の高いUHDカラービデオは,PSNRが32dB以上である単一エンドツーエンドのディープラーニングモデルを用いて,スナップショット2次元計測から再構成可能であることを示す。
提案手法は,従来のSOTAアルゴリズムよりも性能が優れ,リアルタイム性能が向上した。
論文 参考訳(メタデータ) (2023-05-17T07:28:46Z) - Learning Data-Driven Vector-Quantized Degradation Model for Animation
Video Super-Resolution [59.71387128485845]
アニメーションビデオの特徴を探求し、より実用的なアニメーションVSRモデルのための実世界のアニメーションデータの豊富な事前情報を活用する。
本稿では,グローバルな構造から局所的な詳細を分解する,マルチスケールなベクトル量子化分解モデルを提案する。
先行データを抽出するために、リッチコンテンツリアルアニメーション低品質(RAL)ビデオデータセットを収集する。
論文 参考訳(メタデータ) (2023-03-17T08:11:14Z) - VideoINR: Learning Video Implicit Neural Representation for Continuous
Space-Time Super-Resolution [75.79379734567604]
ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。
本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
論文 参考訳(メタデータ) (2022-06-09T17:45:49Z) - Real-Time Super-Resolution for Real-World Images on Mobile Devices [11.632812550056173]
Image Super-Resolution (ISR) は、高分解能(HR)画像を対応する低分解能(LR)画像から復元することを目的としている。
ISRの最近の進歩は目覚ましいが、エッジデバイスに展開するには計算集約的すぎる。
本研究では,モバイルデバイス上でのリアルタイムIDRに対するアプローチについて述べる。
論文 参考訳(メタデータ) (2022-06-03T18:44:53Z) - Self-Supervised Deep Blind Video Super-Resolution [46.410705294831374]
本稿では,視覚ビデオSR問題を解決するための自己教師付き学習手法を提案する。
我々は、ビデオSRの画像形成に応じて、元のLRビデオから補助的なペアデータを生成する。
実験により,本手法は,ベンチマークや実世界のビデオにおいて,最先端の手法に対して良好に動作することが示された。
論文 参考訳(メタデータ) (2022-01-19T05:18:44Z) - Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。
最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。
そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
論文 参考訳(メタデータ) (2021-11-24T18:58:21Z) - Dual-reference Training Data Acquisition and CNN Construction for Image
Super-Resolution [33.388234549922025]
そこで本研究では,実写カメラを用いたLR$sim$HR画像ペアを多数取得する新しい手法を提案する。
私たちのイノベーションは、解像度の異なる超高品質のスクリーンに表示される画像を撮影することです。
実験の結果,LR$sim$HRデータセットによる超解像CNNのトレーニングは,実画像上の既存のデータセットによるトレーニングよりも,復元性能が優れていることがわかった。
論文 参考訳(メタデータ) (2021-08-05T03:31:50Z) - Exploiting Raw Images for Real-Scene Super-Resolution [105.18021110372133]
本稿では,合成データと実撮影画像とのギャップを埋めるために,実シーンにおける単一画像の超解像化の問題について検討する。
本稿では,デジタルカメラの撮像過程を模倣して,よりリアルなトレーニングデータを生成する手法を提案する。
また、原画像に記録された放射情報を活用するために、2分岐畳み込みニューラルネットワークを開発した。
論文 参考訳(メタデータ) (2021-02-02T16:10:15Z) - CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。
CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。
近年,圧縮領域から直接学習できる深層学習手法が注目されている。
論文 参考訳(メタデータ) (2020-12-26T15:00:10Z) - DynaVSR: Dynamic Adaptive Blind Video Super-Resolution [60.154204107453914]
DynaVSRは、現実世界のビデオSRのための新しいメタラーニングベースのフレームワークである。
様々な種類の合成ボケカーネルを備えたマルチフレームダウンスケーリングモジュールをトレーニングし、入力認識適応のためのビデオSRネットワークとシームレスに結合する。
実験結果から,DynaVSRは最先端のビデオSRモデルの性能を一定に向上することがわかった。
論文 参考訳(メタデータ) (2020-11-09T15:07:32Z) - Robust Single-Image Super-Resolution via CNNs and TV-TV Minimization [7.538482310185135]
シングルイメージ超解像(英: Single-image Super- resolution)とは、低解像度(LR)画像から高解像度(HR)画像を得る画像の解像度を増大させる過程である。
大規模なトレーニングデータセットを活用することで、現在のCNN(Convolutional Neural Network)は、このタスクにおける最先端のパフォーマンスを実現している。
我々は,CNNの出力をTV-TV最小化と呼ぶ最適化問題で処理後処理し,一貫性を実現することを提案する。
論文 参考訳(メタデータ) (2020-04-02T07:06:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。