論文の概要: Residual Motion Splatting for Continuous Space-Time Video Super-Resolution
- arxiv url: http://arxiv.org/abs/2610.38499v1
- Date: Wed, 28 Oct 2026 09:17:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 10:34:35.371908
- Title: Residual Motion Splatting for Continuous Space-Time Video Super-Resolution
- Title(参考訳): 連続時空ビデオ超解像のための残留運動平滑化
- Abstract要約: 連続時空ビデオ超解像は、低解像度で低フレームレートのビデオから、任意の空間スケールと時間的瞬間で高解像度で高フレームレートのビデオを生成する。
既存の学習ベースの手法は、この原則から大きく離れている。
- 参考スコア(独自算出の注目度): 27.38781911265298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continuous space-time video super-resolution produces a high-resolution, highframe-rate video from a low-resolution, low-frame-rate one at arbitrary spatial scales and temporal instants. Classical spatial multi-frame super-resolution has shown that detail beyond a single frame's sampling limit can be recovered by aligning complementary observations with sub-pixel precision and accumulating them on a finer grid. Existing learning-based methods largely depart from this principle: some align and fuse frames only at low resolution before regressing a continuous high-resolution representation, while others interpolate each frame to the output resolution before splatting. In both cases, the per-frame samples are resampled before fusion, so their sub-pixel positions are lost before frames are combined. Restoring this principle in a learned continuous model raises two challenges: estimating sub-pixel motion at unobserved times, and handling holes and occlusions when splatting a coarse grid onto a finer one. We address the first by predicting per-pixel continuous trajectories that refine linear optical-flow paths with smooth residual motion, using features integrated over the full video sequence. We address the second by directly splatting consecutive low-resolution features in a learned latent space onto a high-resolution grid at their predicted sub-pixel positions with predicted visibility weights, before a decoder resolves remaining ambiguities. This makes temporal interpolation and multi-frame superresolution a single operation. Our method improves both reconstruction fidelity and perceptual quality on multiple standard benchmarks over the state of the art, while running up to an order of magnitude faster.
- Abstract(参考訳): 連続時空ビデオ超解像は、低解像度で低フレームレートのビデオから、任意の空間スケールと時間的瞬間で高解像度で高フレームレートのビデオを生成する。
古典的な空間的マルチフレーム超解像は、1つのフレームのサンプリング限界を超える詳細を、サブピクセル精度で相補的な観測を整列させ、それらをより微細な格子上に蓄積することで復元できることを示した。
既存の学習ベースの手法は、連続した高解像度表現を回帰する前に、いくつかのアライメントとヒューズフレームのみを低解像度で処理し、他のものはスプラッティングする前に各フレームを出力解像度に補間する。
どちらの場合も、フレーム単位のサンプルは融合前に再サンプリングされるので、フレームが結合される前にサブピクセルの位置が失われる。
学習された連続モデルでこの原理を復元することは、2つの課題を提起する。
本研究は, 線形光流路をスムーズな残差運動で洗練する画素ごとの連続軌跡を, フルビデオシーケンス上で統合した特徴を用いて予測することで, 第一に解決する。
学習した潜在空間における連続的な低分解能特徴を予測された視認性重み付き高分解能グリッド上に直接スプラッティングし、デコーダが残余の曖昧さを解消する。
これにより、時間的補間と多フレーム超解像は単一の操作となる。
提案手法は,複数の標準ベンチマーク上での再現精度と知覚品質を両立させながら,最大で1桁高速化する。
関連論文リスト
- High-Throughput Generative Video Super-Resolution on a Single Consumer GPU [4.39160562548524]
エンド・ツー・エンドのトレーニングなしで単一のハイエンド・コンシューマ上での実用的なHD生成型VSR。
予め訓練されたコンポーネントから構築されたゼロショットフレームワークを提示する。
提案するフレームワークは,NVIDIA 4090 GPUのインターリーブ推論の下で,最大32FPSの720p解像度に達することを示す。
論文 参考訳(メタデータ) (2026-10-09T08:06:14Z) - PickMoment: Continuous-Time Single-Image-to-Video via Learning Deblurring and Blur-to-Video [8.710366610063982]
PickMoment(ピックモーメント)は、1つの決定論的モデルで露光の任意の部分区間における区間平均のぼかしを学習する継続的時間修正である。
1つのトレーニングされたモデルは、同一ネットワークへの異なるクエリとして、シングルイメージのデブロアリング、ぼやけたビデオ生成、連続時間ピック・ア・モーメントリカバリを統一する。
論文 参考訳(メタデータ) (2026-10-01T08:16:14Z) - GS-STVSR: Ultra-Efficient Continuous Spatio-Temporal Video Super-Resolution via 2D Gaussian Splatting [71.12303582606019]
Continuous Video Super-Resolution (C-STVSR) は、任意のスケールファクタによる動画の空間的・フレーム的レートの同時向上を目的としている。
2次元ガウシアンティング(2D-GS)に基づく超効率的なC-STVSRフレームワークであるGS-STVSRを提案する。
GS-STVSRは,すべてのベンチマークにおいて最先端の品質を実現していることを示す。
論文 参考訳(メタデータ) (2026-04-20T10:11:05Z) - ScrollScape: Unlocking 32K Image Generation With Video Diffusion Priors [48.033666517340464]
ScrollScapeは、EAR画像合成を連続的なビデオ生成プロセスに変換する新しいフレームワークである。
また,ScrollScapeは,高度に局所化されたアーティファクトを除去することにより,既存の画像拡散ベースラインを著しく上回ることを示す。
論文 参考訳(メタデータ) (2026-03-25T13:03:02Z) - Continuous Space-Time Video Super-Resolution with 3D Fourier Fields [62.270473766381976]
連続時空ビデオ超解像のための新しい定式化法を提案する。
モデリング関節は空間的および時間的超解像の両方を大幅に改善することを示す。
論文 参考訳(メタデータ) (2025-09-30T14:34:02Z) - Pixel to Gaussian: Ultra-Fast Continuous Super-Resolution with 2D Gaussian Modeling [50.34513854725803]
Arbitrary-scale Super- resolution (ASSR) は、低解像度(LR)入力から任意のアップサンプリング係数で高解像度(HR)イメージを再構成することを目的としている。
本稿では,Gaussian Splattingを用いたLR画像から2次元連続HR信号を明示的に再構成する,Pixel-to-Gaussianパラダイムを用いた新しいContinuousSRフレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-09T13:43:57Z) - QMambaBSR: Burst Image Super-Resolution with Query State Space Model [55.56075874424194]
バースト超解像度は、複数のバースト低解像度フレームからサブピクセル情報を融合することにより、高画質でよりリッチな細部で高解像度の画像を再構成することを目的としている。
BusrtSRにおいて鍵となる課題は、高周波ノイズ障害を同時に抑制しつつ、ベースフレームの補完的なサブピクセルの詳細を抽出することである。
本稿では,Query State Space Model (QSSM) とAdaptive Up-Sampling Module (AdaUp) を組み合わせた新しいQuery Mamba Burst Super-Resolution (QMambaBSR) ネットワークを紹介する。
論文 参考訳(メタデータ) (2024-08-16T11:15:29Z) - Continuous Space-Time Video Super-Resolution Utilizing Long-Range
Temporal Information [48.20843501171717]
本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。
本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
論文 参考訳(メタデータ) (2023-02-26T08:02:39Z) - Towards Interpretable Video Super-Resolution via Alternating
Optimization [115.85296325037565]
低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。
本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-21T21:34:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。