論文の概要: Real-World Video for Zoom Enhancement based on Spatio-Temporal Coupling
- arxiv url: http://arxiv.org/abs/2306.13875v1
- Date: Sat, 24 Jun 2023 06:19:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 18:41:52.574335
- Title: Real-World Video for Zoom Enhancement based on Spatio-Temporal Coupling
- Title(参考訳): 時空間結合に基づくズーム強調のための実世界ビデオ
- Authors: Zhiling Guo, Yinqiang Zheng, Haoran Zhang, Xiaodan Shi, Zekun Cai,
Ryosuke Shibasaki, Jinyue Yan
- Abstract要約: 紙-時間情報結合によるズーム品質向上のために,現実的なマルチフレームクリップの適用の可能性を検討する。
異なるズームシナリオで得られた優れた実験結果は、実世界のビデオとSTCLを既存のズームモデルに統合することの優位性を示している。
- 参考スコア(独自算出の注目度): 44.2753331076938
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, single-frame image super-resolution (SR) has become more
realistic by considering the zooming effect and using real-world short- and
long-focus image pairs. In this paper, we further investigate the feasibility
of applying realistic multi-frame clips to enhance zoom quality via
spatio-temporal information coupling. Specifically, we first built a real-world
video benchmark, VideoRAW, by a synchronized co-axis optical system. The
dataset contains paired short-focus raw and long-focus sRGB videos of different
dynamic scenes. Based on VideoRAW, we then presented a Spatio-Temporal Coupling
Loss, termed as STCL. The proposed STCL is intended for better utilization of
information from paired and adjacent frames to align and fuse features both
temporally and spatially at the feature level. The outperformed experimental
results obtained in different zoom scenarios demonstrate the superiority of
integrating real-world video dataset and STCL into existing SR models for zoom
quality enhancement, and reveal that the proposed method can serve as an
advanced and viable tool for video zoom.
- Abstract(参考訳): 近年、ズーム効果を考慮し、実世界の短焦点・長焦点画像ペアを用いることにより、sr(single-frame image super- resolution)がより現実的になっている。
本稿では,時空間情報結合によるズーム品質向上を実現するために,現実的なマルチフレームクリップの適用可能性について検討する。
具体的には、同期共軸光学系による実世界のビデオベンチマークであるvideorawを構築した。
データセットには、異なるダイナミックシーンのショートフォーカスとロングフォーカスのsRGBビデオが含まれている。
ビデオRAWに基づいて,STCLと呼ばれる時空間結合損失を示した。
提案するSTCLは,2つのフレームと隣接するフレームからの情報を利用して,時間的・空間的に特徴の整合と融合を図る。
異なるズームシナリオで得られた比較実験の結果から,実世界の映像データセットとstclを既存のsrモデルに統合して画質を向上できることが示され,提案手法が映像ズームの先進的かつ実行可能なツールとして機能できることが判明した。
関連論文リスト
- Inflation with Diffusion: Efficient Temporal Adaptation for
Text-to-Video Super-Resolution [19.748048455806305]
本稿では,効率的な拡散型テキスト・ビデオ・スーパーレゾリューション(SR)チューニング手法を提案する。
本稿では,我々の拡張アーキテクチャに基づく異なるチューニング手法について検討し,計算コストと超解像品質のトレードオフを報告する。
論文 参考訳(メタデータ) (2024-01-18T22:25:16Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳(メタデータ) (2023-03-27T09:43:42Z) - You Can Ground Earlier than See: An Effective and Efficient Pipeline for
Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。
それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。
本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
論文 参考訳(メタデータ) (2023-03-14T12:53:27Z) - Continuous Space-Time Video Super-Resolution Utilizing Long-Range
Temporal Information [48.20843501171717]
本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。
本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
論文 参考訳(メタデータ) (2023-02-26T08:02:39Z) - H2-Stereo: High-Speed, High-Resolution Stereoscopic Video System [39.95458608416292]
高分解能立体視(H2-Stereo)ビデオは、動的3Dコンテンツを微妙に知覚することができる。
既存の手法は、時間的または空間的な詳細を欠いた妥協された解決策を提供する。
本稿では,高解像度低フレームレート(HSR-LFR)映像を空間的詳細で撮影するデュアルカメラシステムを提案する。
そこで我々は,H2-Stereo ビデオの効率的な再構成にクロスカメラ冗長性を利用する学習情報融合ネットワーク (LIFnet) を考案した。
論文 参考訳(メタデータ) (2022-08-04T04:06:01Z) - HSTR-Net: High Spatio-Temporal Resolution Video Generation For Wide Area
Surveillance [4.125187280299246]
本稿では,HSTRビデオ生成における複数のビデオフィードの利用について述べる。
主な目的は、HSLFとLSHFビデオの融合によるHSTRビデオを作成することである。
論文 参考訳(メタデータ) (2022-04-09T09:23:58Z) - STDAN: Deformable Attention Network for Space-Time Video
Super-Resolution [39.18399652834573]
本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。
まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。
第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
論文 参考訳(メタデータ) (2022-03-14T03:40:35Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳(メタデータ) (2021-03-07T04:33:13Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。