論文の概要: Enhancing Space-time Video Super-resolution via Spatial-temporal Feature
Interaction
- arxiv url: http://arxiv.org/abs/2207.08960v3
- Date: Thu, 20 Apr 2023 06:48:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 17:29:11.121805
- Title: Enhancing Space-time Video Super-resolution via Spatial-temporal Feature
Interaction
- Title（参考訳）: 時空間的特徴相互作用による時空間映像の高分解能化
- Authors: Zijie Yue, Miaojing Shi
- Abstract要約: 時空ビデオ超解像(STVSR)の目的は、ビデオのフレームレートと空間解像度の両方を増加させることである。
近年のアプローチでは、エンドツーエンドのディープニューラルネットワークを用いてSTVSRを解く。
本研究では,空間的・時間的相関を利用してSTVSRを強化する空間的・時間的特徴相互作用ネットワークを提案する。
- 参考スコア（独自算出の注目度）: 9.456643513690633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The target of space-time video super-resolution (STVSR) is to increase both
the frame rate (also referred to as the temporal resolution) and the spatial
resolution of a given video. Recent approaches solve STVSR using end-to-end
deep neural networks. A popular solution is to first increase the frame rate of
the video; then perform feature refinement among different frame features; and
last increase the spatial resolutions of these features. The temporal
correlation among features of different frames is carefully exploited in this
process. The spatial correlation among features of different (spatial)
resolutions, despite being also very important, is however not emphasized. In
this paper, we propose a spatial-temporal feature interaction network to
enhance STVSR by exploiting both spatial and temporal correlations among
features of different frames and spatial resolutions. Specifically, the
spatial-temporal frame interpolation module is introduced to interpolate low-
and high-resolution intermediate frame features simultaneously and
interactively. The spatial-temporal local and global refinement modules are
respectively deployed afterwards to exploit the spatial-temporal correlation
among different features for their refinement. Finally, a novel motion
consistency loss is employed to enhance the motion continuity among
reconstructed frames. We conduct experiments on three standard benchmarks,
Vid4, Vimeo-90K and Adobe240, and the results demonstrate that our method
improves the state of the art methods by a considerable margin. Our codes will
be available at
https://github.com/yuezijie/STINet-Space-time-Video-Super-resolution.
- Abstract（参考訳）: 時空ビデオ超解像(STVSR)の目標は、フレームレート(時間分解能とも呼ばれる)と所定のビデオの空間分解能の両方を増加させることである。
最近のアプローチでは、エンドツーエンドのディープニューラルネットワークを用いてSTVSRを解く。
一般的な解決策は、まずビデオのフレームレートを向上し、次に異なるフレーム特徴間の特徴改善を行い、最後にこれらの特徴の空間分解能を高めることである。
このプロセスでは,異なるフレームの特徴間の時間的相関を慎重に活用する。
異なる(空間)解像度の特徴間の空間的相関は、非常に重要であるにもかかわらず強調されない。
本稿では,異なるフレームの特徴と空間分解能の空間的相関を利用して,STVSRを強化する空間的時間的特徴相互作用ネットワークを提案する。
具体的には、空間時間フレーム補間モジュールを導入し、低解像度及び高解像度の中間フレーム特徴を同時に対話的に補間する。
空間的時間的局所分解モジュールと大域的精製モジュールはその後それぞれ展開され、異なる特徴間の空間的時間的相関を利用して精製を行う。
最後に、再構成フレーム間の動き継続性を高めるために、新しい動き整合損失を用いる。
我々は,Vid4,Vimeo-90K,Adobe240の3つの標準ベンチマークを用いて実験を行い,本手法が技術手法の精度をかなり向上することを示した。
私たちのコードはhttps://github.com/yuezijie/STINet-Space-time-Video-Super- resolutionで公開されます。
関連論文リスト
- HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera [22.208120663778043]
連続時空超解像(C-STVSR)は、任意のスケールで解像度とフレームレートを同時に向上することを目的としている。
我々は、暗黙的神経表現(INR)に基づいて、全体依存と局所運動の両方をキャプチャするHR-INRと呼ばれる新しいC-STVSRフレームワークを提案する。
次に、時間的埋め込みを持つ新しいINRベースのデコーダを提案し、時間的知覚場を大きくすることで、長期的依存関係をキャプチャする。
論文 参考訳（メタデータ） (2024-05-22T06:51:32Z) - Local-Global Temporal Difference Learning for Satellite Video
Super-Resolution [55.69322525367221]
本稿では,時間的差分を効果的かつ効果的な時間的補償に利用することを提案する。
フレーム内における局所的・大域的時間的情報を完全に活用するために,短期・長期的時間的相違を体系的にモデル化した。
5つの主流ビデオ衛星に対して行われた厳密な客観的および主観的評価は、我々の手法が最先端のアプローチに対して好適に機能することを実証している。
論文 参考訳（メタデータ） (2023-04-10T07:04:40Z) - Continuous Space-Time Video Super-Resolution Utilizing Long-Range
Temporal Information [48.20843501171717]
本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。
本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
論文 参考訳（メタデータ） (2023-02-26T08:02:39Z) - STDAN: Deformable Attention Network for Space-Time Video
Super-Resolution [39.18399652834573]
本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。
まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。
第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
論文 参考訳（メタデータ） (2022-03-14T03:40:35Z) - MEGAN: Memory Enhanced Graph Attention Network for Space-Time Video
Super-Resolution [8.111645835455658]
時空ビデオスーパー解像度(STVSR)は、対応する低フレームレートの低解像度ビデオシーケンスから高解像度ビデオシーケンスを構築することを目的としている。
近年の時空超解像における時空間情報の考察の成功に触発されて,本研究の主な目的は空間的・時空間的相関を十分に考慮することである。
論文 参考訳（メタデータ） (2021-10-28T17:37:07Z) - Temporal Modulation Network for Controllable Space-Time Video
Super-Resolution [66.06549492893947]
宇宙時間のビデオ超解像度は、低解像度と低フレームレートのビデオの空間的および時間的解像度を高めることを目指しています。
変形性畳み込み法は、有望なSTVSR性能を達成したが、トレーニング段階で事前に定義された中間フレームのみを推測することができた。
本稿では,任意の中間フレームを高精度な高分解能再構成で補間する時間変調ネットワーク(tmnet)を提案する。
論文 参考訳（メタデータ） (2021-04-21T17:10:53Z) - Exploring Rich and Efficient Spatial Temporal Interactions for Real Time
Video Salient Object Detection [87.32774157186412]
メインストリーム方式は、主に2つの独立した場所、すなわち空間的分岐と時間的分岐からビデオ・サリエンシを定式化する。
本稿では,このような改善を実現するための時間的ネットワークを提案する。
提案手法は実装が簡単で,50FPSで高精細度をリアルタイムに検出できる。
論文 参考訳（メタデータ） (2020-08-07T03:24:04Z) - Co-Saliency Spatio-Temporal Interaction Network for Person
Re-Identification in Videos [85.6430597108455]
本稿では,ビデオにおける人物の身元確認のためのCSTNet(Co-Saliency Spatio-Temporal Interaction Network)を提案する。
ビデオフレーム間の共通した有意な前景領域をキャプチャし、そのような領域からの空間的時間的長距離コンテキストの相互依存性を探索する。
CSTNet内の複数の空間的時間的相互作用モジュールを提案し,その特徴と空間的時間的情報相関の空間的・時間的長期的相互依存性を利用した。
論文 参考訳（メタデータ） (2020-04-10T10:23:58Z) - Space-Time-Aware Multi-Resolution Video Enhancement [25.90440000711309]
STARnetと呼ばれる提案されたモデルは、空間と時間で共同で解決される。
また,STARnetは,空間,空間,時間的ビデオの高解像度化を,公開データセットのかなりのマージンで実現していることを示す。
論文 参考訳（メタデータ） (2020-03-30T00:33:17Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。