Fugu-MT 論文翻訳(概要): HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera

論文の概要: HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera

arxiv url: http://arxiv.org/abs/2405.13389v1
Date: Wed, 22 May 2024 06:51:32 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 01:04:57.086981
Title: HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera
Title（参考訳）: HR-INR:イベントカメラによる連続宇宙時間ビデオ超解像
Authors: Yunfan Lu, Zipeng Wang, Yusheng Wang, Hui Xiong,
Abstract要約: 連続時空超解像(C-STVSR)は、任意のスケールで解像度とフレームレートを同時に向上することを目的としている。我々は、暗黙的神経表現(INR)に基づいて、全体依存と局所運動の両方をキャプチャするHR-INRと呼ばれる新しいC-STVSRフレームワークを提案する。次に、時間的埋め込みを持つ新しいINRベースのデコーダを提案し、時間的知覚場を大きくすることで、長期的依存関係をキャプチャする。
参考スコア（独自算出の注目度）: 22.208120663778043
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Continuous space-time video super-resolution (C-STVSR) aims to simultaneously enhance video resolution and frame rate at an arbitrary scale. Recently, implicit neural representation (INR) has been applied to video restoration, representing videos as implicit fields that can be decoded at an arbitrary scale. However, the highly ill-posed nature of C-STVSR limits the effectiveness of current INR-based methods: they assume linear motion between frames and use interpolation or feature warping to generate features at arbitrary spatiotemporal positions with two consecutive frames. This restrains C-STVSR from capturing rapid and nonlinear motion and long-term dependencies (involving more than two frames) in complex dynamic scenes. In this paper, we propose a novel C-STVSR framework, called HR-INR, which captures both holistic dependencies and regional motions based on INR. It is assisted by an event camera, a novel sensor renowned for its high temporal resolution and low latency. To fully utilize the rich temporal information from events, we design a feature extraction consisting of (1) a regional event feature extractor - taking events as inputs via the proposed event temporal pyramid representation to capture the regional nonlinear motion and (2) a holistic event-frame feature extractor for long-term dependence and continuity motion. We then propose a novel INR-based decoder with spatiotemporal embeddings to capture long-term dependencies with a larger temporal perception field. We validate the effectiveness and generalization of our method on four datasets (both simulated and real data), showing the superiority of our method.
Abstract（参考訳）: 連続時空ビデオ超解像(C-STVSR)は、任意のスケールでビデオ解像度とフレームレートを同時に向上することを目的としている。近年、暗黙的ニューラル表現(INR)がビデオ復元に応用され、ビデオは任意のスケールでデコードできる暗黙的フィールドとして表現されている。しかし、C-STVSRの極めて誤った性質は、フレーム間の線形運動を仮定し、補間や特徴ワープを用いて、2つの連続するフレームを持つ任意の時空間位置で特徴を生成するという、現在のINRベースの方法の有効性を制限している。これによりC-STVSRは、複雑なダイナミックシーンにおいて、迅速かつ非線形な動きと長期依存(2フレーム以上を含む)をキャプチャすることを抑制する。本稿では, HR-INRと呼ばれる新しいC-STVSRフレームワークを提案する。イベントカメラは、高時間分解能と低レイテンシで有名な新しいセンサーである。イベントからの豊富な時間的情報をフル活用するために,(1)イベント特徴抽出器を,(1)イベントの時間的ピラミッド表現を介してイベントを入力として取り出し,その領域の非線形な動きを捉える機能抽出器を設計し,(2)長期的依存と連続的な動きのための総合的なイベントフレーム特徴抽出器を設計する。そこで我々は,時空間認識場を大きくして長期依存を捉えるために,時空間埋め込みを用いた新しいINRデコーダを提案する。本手法の有効性と一般化を4つのデータセット(シミュレーションデータと実データの両方)で検証し,本手法の優位性を示した。

関連論文リスト

BF-STVSR: B-Splines and Fourier-Best Friends for High Fidelity Spatial-Temporal Video Super-Resolution [14.082598088990352]
本稿では,映像の空間的特徴と時間的特徴をよりよく表現するための2つのキーモジュールを備えたC-STVSRフレームワークを提案する。提案手法は最新のPSNRとSSIMの性能を実現し,空間的詳細化と時間的自然整合性を示す。
論文参考訳（メタデータ） (2025-01-19T13:29:41Z)
Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文参考訳（メタデータ） (2023-04-14T05:30:02Z)
Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
論文参考訳（メタデータ） (2023-02-26T08:02:39Z)
Towards Interpretable Video Super-Resolution via Alternating Optimization [115.85296325037565]
低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
論文参考訳（メタデータ） (2022-07-21T21:34:05Z)
Enhancing Space-time Video Super-resolution via Spatial-temporal Feature Interaction [11.041058494002467]
時空ビデオ超解像(STVSR)の目的は、ビデオのフレームレートと空間解像度の両方を増加させることである。近年のアプローチでは、エンドツーエンドのディープニューラルネットワークを用いてSTVSRを解く。本研究では,空間的・時間的相関を利用してSTVSRを強化する空間的・時間的特徴相互作用ネットワークを提案する。
論文参考訳（メタデータ） (2022-07-18T22:10:57Z)
VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
論文参考訳（メタデータ） (2022-06-09T17:45:49Z)
STDAN: Deformable Attention Network for Space-Time Video Super-Resolution [39.18399652834573]
本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
論文参考訳（メタデータ） (2022-03-14T03:40:35Z)
Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution [100.11355888909102]
時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
論文参考訳（メタデータ） (2021-04-15T17:59:23Z)
Coarse-Fine Networks for Temporal Activity Detection in Videos [45.03545172714305]
Co-Fine Networks」は、時間分解の異なる抽象化の恩恵を受け、長期的な動きのためのより良いビデオ表現を学ぶ2流アーキテクチャです。提案手法は,計算量とメモリフットプリントを大幅に削減して,公開データセットにおける動作検出の最先端を上回ることができることを示す。
論文参考訳（メタデータ） (2021-03-01T20:48:01Z)
Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。