論文の概要: iSeeBetter: Spatio-temporal video super-resolution using recurrent
generative back-projection networks
- arxiv url: http://arxiv.org/abs/2006.11161v4
- Date: Wed, 30 Sep 2020 00:45:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 20:35:24.874816
- Title: iSeeBetter: Spatio-temporal video super-resolution using recurrent
generative back-projection networks
- Title（参考訳）: iSeeBetter: Recurrent Generative Back-Projection Network を用いた時空間ビデオ超解像
- Authors: Aman Chadha, John Britto, and M. Mani Roja
- Abstract要約: ビデオ超解像(VSR)に対する新しいGANに基づく構造時間的アプローチiSeeBetterを提案する。
iSeeBetterは、リカレントバックプロジェクションネットワークをジェネレータとして使用して、現在のフレームと隣接するフレームから時空間情報を抽出する。
以上の結果から,iSeeBetterはVSRの忠実度に優れ,最先端の性能に勝ることを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, learning-based models have enhanced the performance of single-image
super-resolution (SISR). However, applying SISR successively to each video
frame leads to a lack of temporal coherency. Convolutional neural networks
(CNNs) outperform traditional approaches in terms of image quality metrics such
as peak signal to noise ratio (PSNR) and structural similarity (SSIM). However,
generative adversarial networks (GANs) offer a competitive advantage by being
able to mitigate the issue of a lack of finer texture details, usually seen
with CNNs when super-resolving at large upscaling factors. We present
iSeeBetter, a novel GAN-based spatio-temporal approach to video
super-resolution (VSR) that renders temporally consistent super-resolution
videos. iSeeBetter extracts spatial and temporal information from the current
and neighboring frames using the concept of recurrent back-projection networks
as its generator. Furthermore, to improve the "naturality" of the
super-resolved image while eliminating artifacts seen with traditional
algorithms, we utilize the discriminator from super-resolution generative
adversarial network (SRGAN). Although mean squared error (MSE) as a primary
loss-minimization objective improves PSNR/SSIM, these metrics may not capture
fine details in the image resulting in misrepresentation of perceptual quality.
To address this, we use a four-fold (MSE, perceptual, adversarial, and
total-variation (TV)) loss function. Our results demonstrate that iSeeBetter
offers superior VSR fidelity and surpasses state-of-the-art performance.
- Abstract（参考訳）: 近年,一像超解像(SISR)の性能が向上している。
しかし、SISRを各ビデオフレームに順次適用すると、時間的コヒーレンシーが欠如する。
畳み込みニューラルネットワーク(CNN)は、ピーク信号対ノイズ比(PSNR)や構造的類似性(SSIM)といった画像品質指標において、従来のアプローチよりも優れている。
しかし、gans(generative adversarial networks)は、大きなスケールアップ要因でスーパーリゾルディングを行う際に、通常cnnで見られる、より細かいテクスチャの詳細の欠如の問題を軽減することで、競争上の優位性を提供している。
iSeeBetterは、時間的に一貫した超解像ビデオを表示するビデオ超解像(VSR)に対する、新しいGANベースの時空間的アプローチである。
iseebetterは、リカレントバックプロジェクションネットワークを発生源として、現在のフレームと隣接フレームから空間的および時間的情報を抽出する。
さらに,従来のアルゴリズムで見るアーティファクトを排除しつつ,超解像の「自然性」を改善するために,超解像生成対向ネットワーク(SRGAN)の識別器を利用する。
損失最小化の目的である平均二乗誤差(MSE)はPSNR/SSIMを改善するが、これらの指標は知覚品質の誤表現をもたらす画像の細部を捉えない。
これに対処するために、4次元(mse,perceptual, adversarial, and total-variation, tv)の損失関数を用いる。
以上の結果から,iSeeBetterはVSRの忠実度に優れ,最先端の性能に勝ることを示した。
関連論文リスト
- Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - STIP: A SpatioTemporal Information-Preserving and Perception-Augmented
Model for High-Resolution Video Prediction [78.129039340528]
本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。
提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。
実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
論文 参考訳（メタデータ） (2022-06-09T09:49:04Z) - Image Super-resolution with An Enhanced Group Convolutional Neural
Network [102.2483249598621]
学習能力の強いCNNは、超解像問題を解くために広く選択されている。
浅層構造を持つ超解像群CNN(ESRGCNN)を提案する。
ESRGCNNは、SISRの性能、複雑さ、実行速度、画質評価およびSISRの視覚効果の観点から、最先端技術を上回っていると報告されている。
論文 参考訳（メタデータ） (2022-05-29T00:34:25Z) - Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。
残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。
我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
論文 参考訳（メタデータ） (2022-01-28T09:18:43Z) - Deep Networks for Image and Video Super-Resolution [30.75380029218373]
単一画像超解像(SISR)は、MDCB(Mixed-Dense connection block)と呼ばれる効率的な畳み込みユニットを用いて構築される。
ネットワークの2つのバージョンをトレーニングし、異なる損失構成を用いて相補的な画像品質を向上させる。
ネットワークは複数のフレームから情報を集約し,時間的整合性を維持するために学習する。
論文 参考訳（メタデータ） (2022-01-28T09:15:21Z) - Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time
Video Super-Resolution [52.899234731501075]
時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。
既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。
本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-10-13T15:21:30Z) - Deep Unrolled Network for Video Super-Resolution [0.45880283710344055]
ビデオスーパーリゾリューション(VSR)は、対応する低リゾリューション(LR)バージョンから高リゾリューション(HR)画像のシーケンスを再構築することを目的としています。
伝統的に、VSR問題の解法は、画像形成や動きの仮定に関する事前知識を利用する反復アルゴリズムに基づいている。
ディープラーニング(DL)アルゴリズムは、大量の画像から空間パターンを効率的に学習できます。
未使用の最適化技術に基づく新しいVSRニューラルネットワークを提案し,その性能を議論する。
論文 参考訳（メタデータ） (2021-02-23T14:35:09Z) - Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。
本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。
反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文 参考訳（メタデータ） (2020-05-20T11:11:47Z) - Residual Channel Attention Generative Adversarial Network for Image
Super-Resolution and Noise Reduction [14.217260022873083]
深層ネットワークが深まるにつれて、トレーニングが難しくなり、より細かいテクスチャの詳細を復元することが難しくなります。
本稿では,これらの問題を解決するために,Residual Channel Attention-Generative Adversarial Network (RCA-GAN)を提案する。
RCA-GANは、ベースラインモデルよりも細部と自然なテクスチャで、常に視覚的品質が向上する。
論文 参考訳（メタデータ） (2020-04-28T17:23:46Z) - Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。
本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文 参考訳（メタデータ） (2020-02-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。