論文の概要: BF-STVSR: B-Splines and Fourier-Best Friends for High Fidelity Spatial-Temporal Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2501.11043v2
• Date: Tue, 25 Mar 2025 07:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 19:42:57.538557
• Title: BF-STVSR: B-Splines and Fourier-Best Friends for High Fidelity Spatial-Temporal Video Super-Resolution
• Title（参考訳）: BF-STVSR:高忠実度空間時間ビデオスーパーリゾリューションのためのB-SplinesとFourier-Best Friends
• Authors: Eunjin Kim, Hyeonjin Kim, Kyong Hwan Jin, Jaejun Yoo,
• Abstract要約: ビデオの空間的特徴と時間的特徴をよりよく表現するために,2つのキーモジュールを備えたC-STVSRフレームワークであるBF-STVSRを提案する。 提案手法は,PSNR や SSIM など様々な指標の最先端性を実現し,空間的詳細化や時間的整合性の向上を図っている。
• 参考スコア（独自算出の注目度）: 14.082598088990352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While prior methods in Continuous Spatial-Temporal Video Super-Resolution (C-STVSR) employ Implicit Neural Representation (INR) for continuous encoding, they often struggle to capture the complexity of video data, relying on simple coordinate concatenation and pre-trained optical flow networks for motion representation. Interestingly, we find that adding position encoding, contrary to common observations, does not improve--and even degrades--performance. This issue becomes particularly pronounced when combined with pre-trained optical flow networks, which can limit the model's flexibility. To address these issues, we propose BF-STVSR, a C-STVSR framework with two key modules tailored to better represent spatial and temporal characteristics of video: 1) B-spline Mapper for smooth temporal interpolation, and 2) Fourier Mapper for capturing dominant spatial frequencies. Our approach achieves state-of-the-art in various metrics, including PSNR and SSIM, showing enhanced spatial details and natural temporal consistency. Our code is available https://github.com/Eunjnnn/bfstvsr.
• Abstract（参考訳）: C-STVSR(Continuous Spatial-Temporal Video Super-Resolution)では、連続符号化にインプリシット・ニューラル・リ表現(Inlicit Neural Representation、INR)が用いられていたが、ビデオデータの複雑さを捉えるのに苦労し、単純な座標連結と、モーション表現に事前訓練された光フローネットワークに頼っている。 興味深いことに、一般的な観測とは対照的に、位置符号化の追加は改善せず、性能も低下しない。 この問題は、事前訓練された光フローネットワークと組み合わせることで特に顕著になり、モデルの柔軟性が制限される。 これらの課題に対処するために,ビデオの空間的特徴と時間的特徴をよりよく表現するための2つのキーモジュールを備えたC-STVSRフレームワークであるBF-STVSRを提案する。 1)スムーズな時間補間のためのBスプラインマッパー及び 2)支配的な空間周波数を捉えるフーリエマッパー。 提案手法は,PSNR や SSIM など様々な指標の最先端性を実現し,空間的詳細化や時間的整合性の向上を図っている。 私たちのコードはhttps://github.com/Eunjnnn/bfstvsr.comで利用可能です。

関連論文リスト

• Token-Efficient Long Video Understanding for Multimodal LLMs [101.70681093383365]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• SNeRV: Spectra-preserving Neural Representation for Video [8.978061470104532]
  本稿では,暗黙の映像表現を強化する新しい手法として,スペクトル保存型NeRV(SneRV)を提案する。 本稿では,2次元離散ウェーブレット変換(DWT)を用いて映像を低周波(LF)と高周波(HF)に分解する。 我々は,SNeRVが既存のNeRVモデルよりも細部まで細部を捉え,再現性の向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-01-03T07:57:38Z)
• HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera [22.208120663778043]
  連続時空超解像(C-STVSR)は、任意のスケールで解像度とフレームレートを同時に向上することを目的としている。 我々は、暗黙的神経表現(INR)に基づいて、全体依存と局所運動の両方をキャプチャするHR-INRと呼ばれる新しいC-STVSRフレームワークを提案する。 次に、時間的埋め込みを持つ新しいINRベースのデコーダを提案し、時間的知覚場を大きくすることで、長期的依存関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-05-22T06:51:32Z)
• Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution [151.1255837803585]
  ビデオ超解像のための空間適応と時間コヒーレンス(SATeCo)を追求する新しい手法を提案する。 SATeCoは低解像度ビデオから時空間ガイダンスを学習し、潜時空間高解像度ビデオデノイングとピクセル空間ビデオ再構成の両方を校正する。 REDS4データセットとVid4データセットを用いて行った実験は、我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-25T17:59:26Z)
• Boosting Neural Representations for Videos with a Conditional Decoder [28.073607937396552]
  Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。 本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-28T08:32:19Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)
• Towards Interpretable Video Super-Resolution via Alternating Optimization [115.85296325037565]
  低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。 本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T21:34:05Z)
• Fast-Vid2Vid: Spatial-Temporal Compression for Video-to-Video Synthesis [40.249030338644225]
  映像合成 (Vid2Vid) は, セマンティックマップのシーケンスから写真リアルな映像を生成することで, 顕著な成果を上げている。 Fast-Vid2Vidは20 FPSのリアルタイムパフォーマンスを実現し、1つのV100 GPUで約8倍の計算コストを節約する。
  論文  参考訳（メタデータ） (2022-07-11T17:57:57Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• STDAN: Deformable Attention Network for Space-Time Video Super-Resolution [39.18399652834573]
  本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。 まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。 第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-03-14T03:40:35Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• C2F-FWN: Coarse-to-Fine Flow Warping Network for Spatial-Temporal Consistent Motion Transfer [5.220611885921671]
  C2F-FWN (Carse-to-Fine Flow Warping Network) を提案する。 C2F-FWNは時間整合性を高めるために流れの一時的な一貫性(FTC)の損失を採用します。 提案手法は空間的および時間的整合性の観点から,最先端HVMT法より優れている。
  論文  参考訳（メタデータ） (2020-12-16T14:11:13Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。