論文の概要: Real-World Video for Zoom Enhancement based on Spatio-Temporal Coupling
- arxiv url: http://arxiv.org/abs/2306.13875v1
- Date: Sat, 24 Jun 2023 06:19:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 18:41:52.574335
- Title: Real-World Video for Zoom Enhancement based on Spatio-Temporal Coupling
- Title（参考訳）: 時空間結合に基づくズーム強調のための実世界ビデオ
- Authors: Zhiling Guo, Yinqiang Zheng, Haoran Zhang, Xiaodan Shi, Zekun Cai,
Ryosuke Shibasaki, Jinyue Yan
- Abstract要約: 紙-時間情報結合によるズーム品質向上のために,現実的なマルチフレームクリップの適用の可能性を検討する。
異なるズームシナリオで得られた優れた実験結果は、実世界のビデオとSTCLを既存のズームモデルに統合することの優位性を示している。
- 参考スコア（独自算出の注目度）: 44.2753331076938
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, single-frame image super-resolution (SR) has become more
realistic by considering the zooming effect and using real-world short- and
long-focus image pairs. In this paper, we further investigate the feasibility
of applying realistic multi-frame clips to enhance zoom quality via
spatio-temporal information coupling. Specifically, we first built a real-world
video benchmark, VideoRAW, by a synchronized co-axis optical system. The
dataset contains paired short-focus raw and long-focus sRGB videos of different
dynamic scenes. Based on VideoRAW, we then presented a Spatio-Temporal Coupling
Loss, termed as STCL. The proposed STCL is intended for better utilization of
information from paired and adjacent frames to align and fuse features both
temporally and spatially at the feature level. The outperformed experimental
results obtained in different zoom scenarios demonstrate the superiority of
integrating real-world video dataset and STCL into existing SR models for zoom
quality enhancement, and reveal that the proposed method can serve as an
advanced and viable tool for video zoom.
- Abstract（参考訳）: 近年、ズーム効果を考慮し、実世界の短焦点・長焦点画像ペアを用いることにより、sr(single-frame image super- resolution)がより現実的になっている。
本稿では,時空間情報結合によるズーム品質向上を実現するために,現実的なマルチフレームクリップの適用可能性について検討する。
具体的には、同期共軸光学系による実世界のビデオベンチマークであるvideorawを構築した。
データセットには、異なるダイナミックシーンのショートフォーカスとロングフォーカスのsRGBビデオが含まれている。
ビデオRAWに基づいて,STCLと呼ばれる時空間結合損失を示した。
提案するSTCLは,2つのフレームと隣接するフレームからの情報を利用して,時間的・空間的に特徴の整合と融合を図る。
異なるズームシナリオで得られた比較実験の結果から,実世界の映像データセットとstclを既存のsrモデルに統合して画質を向上できることが示され,提案手法が映像ズームの先進的かつ実行可能なツールとして機能できることが判明した。
関連論文リスト
- EvLight++: Low-Light Video Enhancement with an Event Camera: A Large-Scale Real-World Dataset, Novel Method, and More [7.974102031202597]
EvLight++は、現実のシナリオで堅牢なパフォーマンスのために設計された、イベント誘導型低照度ビデオ拡張アプローチである。
EvLight++は1.37dBと3.71dBの2つのイメージベースとビデオベースの両方で大幅に性能が向上した。
論文 参考訳（メタデータ） (2024-08-29T04:30:31Z) - BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。
我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。
実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
論文 参考訳（メタデータ） (2024-07-03T22:41:49Z) - RAP: Efficient Text-Video Retrieval with Sparse-and-Correlated Adapter [77.0205013713008]
Text-Video Retrieval (TVR)は、関連するビデオコンテンツと自然言語クエリを連携させることを目的としている。
現在までに、ほとんどの最先端のTVR手法は、大規模な事前学習された視覚モデルに基づいて、画像からビデオへの変換学習を学習している。
パラメータ化層数で事前学習モデルの微調整を行うためのスパース・アンド・コラージュAdaPter (RAP) を提案する。
論文 参考訳（メタデータ） (2024-05-29T19:23:53Z) - Inflation with Diffusion: Efficient Temporal Adaptation for
Text-to-Video Super-Resolution [19.748048455806305]
本稿では,効率的な拡散型テキスト・ビデオ・スーパーレゾリューション(SR)チューニング手法を提案する。
本稿では,我々の拡張アーキテクチャに基づく異なるチューニング手法について検討し,計算コストと超解像品質のトレードオフを報告する。
論文 参考訳（メタデータ） (2024-01-18T22:25:16Z) - Continuous Space-Time Video Super-Resolution Utilizing Long-Range
Temporal Information [48.20843501171717]
本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。
本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
論文 参考訳（メタデータ） (2023-02-26T08:02:39Z) - HSTR-Net: High Spatio-Temporal Resolution Video Generation For Wide Area
Surveillance [4.125187280299246]
本稿では,HSTRビデオ生成における複数のビデオフィードの利用について述べる。
主な目的は、HSLFとLSHFビデオの融合によるHSTRビデオを作成することである。
論文 参考訳（メタデータ） (2022-04-09T09:23:58Z) - STDAN: Deformable Attention Network for Space-Time Video
Super-Resolution [39.18399652834573]
本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。
まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。
第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
論文 参考訳（メタデータ） (2022-03-14T03:40:35Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳（メタデータ） (2021-03-07T04:33:13Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。