論文の概要: Cross-Resolution Flow Propagation for Foveated Video Super-Resolution
- arxiv url: http://arxiv.org/abs/2212.13525v1
- Date: Tue, 27 Dec 2022 15:38:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 14:25:57.571310
- Title: Cross-Resolution Flow Propagation for Foveated Video Super-Resolution
- Title（参考訳）: ビデオ超解像のクロスリゾリューション流伝播
- Authors: Eugene Lee, Lien-Feng Hsu, Evan Chen, Chen-Yi Lee
- Abstract要約: 本稿では,低解像度コンテキストと局所高解像度コンテキストを融合するビデオ超解像手法を提案する。
アイトラッカーは、ユーザの視線方向を提供し、地域の高解像度コンテキストの抽出を支援する。
高分解能領域と低分解能領域の融合から視覚的に喜ぶフレームを生成するため,ディープニューラルネットワークの能力について検討した。
- 参考スコア（独自算出の注目度）: 14.298262702016514
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The demand of high-resolution video contents has grown over the years.
However, the delivery of high-resolution video is constrained by either
computational resources required for rendering or network bandwidth for remote
transmission. To remedy this limitation, we leverage the eye trackers found
alongside existing augmented and virtual reality headsets. We propose the
application of video super-resolution (VSR) technique to fuse low-resolution
context with regional high-resolution context for resource-constrained
consumption of high-resolution content without perceivable drop in quality. Eye
trackers provide us the gaze direction of a user, aiding us in the extraction
of the regional high-resolution context. As only pixels that falls within the
gaze region can be resolved by the human eye, a large amount of the delivered
content is redundant as we can't perceive the difference in quality of the
region beyond the observed region. To generate a visually pleasing frame from
the fusion of high-resolution region and low-resolution region, we study the
capability of a deep neural network of transferring the context of the observed
region to other regions (low-resolution) of the current and future frames. We
label this task a Foveated Video Super-Resolution (FVSR), as we need to
super-resolve the low-resolution regions of current and future frames through
the fusion of pixels from the gaze region. We propose Cross-Resolution Flow
Propagation (CRFP) for FVSR. We train and evaluate CRFP on REDS dataset on the
task of 8x FVSR, i.e. a combination of 8x VSR and the fusion of foveated
region. Departing from the conventional evaluation of per frame quality using
SSIM or PSNR, we propose the evaluation of past foveated region, measuring the
capability of a model to leverage the noise present in eye trackers during
FVSR. Code is made available at https://github.com/eugenelet/CRFP.
- Abstract（参考訳）: 高解像度ビデオコンテンツの需要はここ数年で増大している。
しかし、高解像度ビデオの配信は、レンダリングに必要な計算資源とリモート伝送のためのネットワーク帯域のどちらかによって制限される。
この制限を緩和するために、既存の拡張現実およびバーチャルリアリティーヘッドセットと並んで見つかったアイトラッカーを利用する。
本稿では,低解像度コンテキストと地域高解像度コンテキストを融合させるビデオ超解像度(VSR)技術の適用法を提案する。
eye trackerは、ユーザの視線方向を提供し、地域の高解像度コンテキストの抽出を支援する。
注視領域内にある画素のみが人間の目によって解決されるため、観察された領域を超えた領域の品質の違いを認識できないため、大量の配信されたコンテンツが冗長である。
高分解能領域と低分解能領域の融合から視覚的に喜ぶフレームを生成するために、観測された領域のコンテキストを現在のフレームと将来のフレームの他の領域(低分解能)に転送するディープニューラルネットワークの能力を検討した。
我々はこのタスクをFVSR(Foveated Video Super-Resolution)とラベル付けし、視線領域からの画素の融合により、現在のフレームと将来のフレームの低解像度領域を超解き明かす必要がある。
本稿では,FVSRのためのクロス・リゾリューション・フロー・プロパゲーション(CRFP)を提案する。
我々は,REDSデータセット上で8x FVSR,すなわち8x VSRと葉状領域の融合のタスクに基づいてCRFPを訓練し,評価する。
従来のSSIMやPSNRによるフレームごとの音質評価とは違い,FVSRにおける眼球トラッカーのノイズを利用したモデルの有効性を計測し,過去の葉状領域の評価を提案する。
コードはhttps://github.com/eugenelet/crfp.com/で入手できる。
関連論文リスト
- Spatio-Temporal Distortion Aware Omnidirectional Video Super-Resolution [26.166579083377556]
ビデオの解像度を高めるためにビデオ超解像法 (VSR) が提案されているが, ODVの投影歪みは直接的にこのような手法を適用できない。
超高解像度再構成品質を実現するために,新しい時空間歪み認識ネットワーク(STDAN)を提案する。
論文 参考訳（メタデータ） (2024-10-15T11:17:19Z) - Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution [151.1255837803585]
ビデオ超解像のための空間適応と時間コヒーレンス(SATeCo)を追求する新しい手法を提案する。
SATeCoは低解像度ビデオから時空間ガイダンスを学習し、潜時空間高解像度ビデオデノイングとピクセル空間ビデオ再構成の両方を校正する。
REDS4データセットとVid4データセットを用いて行った実験は、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-25T17:59:26Z) - Lightweight Portrait Matting via Regional Attention and Refinement [7.206702064210176]
我々は高解像度のポートレート・マッティングのための軽量モデルを提案する。
モデルはトリマップやバックグラウンドキャプチャのような補助的な入力を使用しない。
HDビデオではリアルタイムのパフォーマンスを実現し、4Kではほぼリアルタイムである。
論文 参考訳（メタデータ） (2023-11-07T07:14:28Z) - Video Super-Resolution Using a Grouped Residual in Residual Network [12.691703425623055]
ビデオ超解像(VSR)は、単一画像超解像(SISR)の一般化と見なすことができる。
本稿では,VSRのためのグループ化残差ネットワーク(GRRN)を提案する。
論文 参考訳（メタデータ） (2023-10-17T13:55:43Z) - Neighbourhood Representative Sampling for Efficient End-to-end Video
Quality Assessment [60.57703721744873]
リアルタイムビデオの高解像度化は、VQA(Deep Video Quality Assessment)の効率性と精度のジレンマを示す
そこで本研究では,空間時空間格子型ミニキューブサンプリング(St-GMS)を統一的に提案し,新しいタイプのフラグメントを抽出する。
フラグメントとFANetにより、提案された効率的なエンドツーエンドのFAST-VQAとFasterVQAは、既存のVQAベンチマークよりも大幅にパフォーマンスが向上した。
論文 参考訳（メタデータ） (2022-10-11T11:38:07Z) - Image Super-resolution with An Enhanced Group Convolutional Neural
Network [102.2483249598621]
学習能力の強いCNNは、超解像問題を解くために広く選択されている。
浅層構造を持つ超解像群CNN(ESRGCNN)を提案する。
ESRGCNNは、SISRの性能、複雑さ、実行速度、画質評価およびSISRの視覚効果の観点から、最先端技術を上回っていると報告されている。
論文 参考訳（メタデータ） (2022-05-29T00:34:25Z) - Fusformer: A Transformer-based Fusion Approach for Hyperspectral Image
Super-resolution [9.022005574190182]
低分解能ハイパースペクトル像と高分解能マルチスペクトル像を融合させるトランスフォーマーに基づくネットワークを設計する。
LR-HSIは主スペクトル構造を持つため、ネットワークは空間的詳細推定に重点を置いている。
様々な実験と品質指標は、他の最先端手法と比較して、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2021-09-05T14:00:34Z) - Hyperspectral Image Super-resolution via Deep Progressive Zero-centric
Residual Learning [62.52242684874278]
空間情報とスペクトル情報の相互モダリティ分布が問題となる。
本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。
本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
論文 参考訳（メタデータ） (2020-06-18T06:32:11Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z) - Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。
本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文 参考訳（メタデータ） (2020-02-15T13:14:10Z) - End-To-End Trainable Video Super-Resolution Based on a New Mechanism for
Implicit Motion Estimation and Compensation [19.67999205691758]
ビデオの超解像度は、低解像度のビデオから高解像度のビデオを生成することを目指している。
本研究では,暗黙の動作推定と補償を行うための動的局所フィルタネットワークを提案する。
また,ResBlockとオートエンコーダ構造に基づくグローバルリファインメントネットワークを提案する。
論文 参考訳（メタデータ） (2020-01-05T03:47:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。