論文の概要: STCDiT: Spatio-Temporally Consistent Diffusion Transformer for High-Quality Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2511.18786v1
• Date: Mon, 24 Nov 2025 05:37:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.03599
• Title: STCDiT: Spatio-Temporally Consistent Diffusion Transformer for High-Quality Video Super-Resolution
• Title（参考訳）: STCDiT:高画質ビデオ超解像用時空間連続拡散変圧器
• Authors: Junyang Chen, Jiangxin Dong, Long Sun, Yixin Yang, Jinshan Pan,
• Abstract要約: 我々は,事前学習したビデオ拡散モデルに基づいて構築されたビデオ超解像フレームワークSTCDiTを提案する。 複雑なカメラの動きであっても、構造的に忠実で時間的に安定した動画を劣化した入力から復元することを目的としている。
• 参考スコア（独自算出の注目度）: 60.06664986365803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present STCDiT, a video super-resolution framework built upon a pre-trained video diffusion model, aiming to restore structurally faithful and temporally stable videos from degraded inputs, even under complex camera motions. The main challenges lie in maintaining temporal stability during reconstruction and preserving structural fidelity during generation. To address these challenges, we first develop a motion-aware VAE reconstruction method that performs segment-wise reconstruction, with each segment clip exhibiting uniform motion characteristic, thereby effectively handling videos with complex camera motions. Moreover, we observe that the first-frame latent extracted by the VAE encoder in each clip, termed the anchor-frame latent, remains unaffected by temporal compression and retains richer spatial structural information than subsequent frame latents. We further develop an anchor-frame guidance approach that leverages structural information from anchor frames to constrain the generation process and improve structural fidelity of video features. Coupling these two designs enables the video diffusion model to achieve high-quality video super-resolution. Extensive experiments show that STCDiT outperforms state-of-the-art methods in terms of structural fidelity and temporal consistency.
• Abstract（参考訳）: ビデオ拡散モデル上に構築されたビデオ超解像フレームワークSTCDiTは,複雑なカメラ動作下であっても,構造的に忠実で時間的に安定した映像を劣化した入力から復元することを目的としている。 主な課題は、復元中の時間的安定性を維持し、世代間の構造的忠実性を維持することである。 これらの課題に対処するために、まず、セグメントワイドな再構成を行う動き認識型VAE再構成法を開発し、各セグメントクリップが均一な動き特性を示し、複雑なカメラモーションで映像を効果的に処理する。 さらに,VAEエンコーダによって抽出された第1フレームラテントは,アンカーフレームラテントと呼ばれ,時間圧縮の影響を受けず,その後のフレームラテントよりも豊かな空間構造情報を保持することが観察された。 さらに,アンカーフレームからの構造情報を活用するアンカーフレーム誘導手法を開発し,生成過程を制約し,映像特徴の構造忠実性を改善する。 これら2つの設計を結合することにより、ビデオ拡散モデルは高品質なビデオ超解像を実現することができる。 大規模な実験により、STCDiTは構造的忠実性と時間的整合性の観点から最先端の手法より優れていることが示された。

関連論文リスト

• LVTINO: LAtent Video consisTency INverse sOlver for High Definition Video Restoration [3.2944592608677614]
  本稿では,VCMで符号化された先行画像を用いた高精細ビデオ再生のための,最初のゼロショット・プラグ・アンド・プレイ逆解器であるLVTINOを提案する。 我々の条件付け機構は、自動微分の必要性を回避し、少数のニューラルファンクション評価で最先端のビデオ再構成品質を達成する。
  論文  参考訳（メタデータ） (2025-10-01T18:10:08Z)
• Low-Cost Test-Time Adaptation for Robust Video Editing [4.707015344498921]
  ビデオ編集は、生の映像を特定の視覚的・物語的目的に沿ったコヒーレントな作品に変換するコンテンツ創造の重要な要素である。 既存のアプローチでは、複雑なモーションパターンのキャプチャの失敗による時間的不整合、UNetバックボーンアーキテクチャの制限による単純なプロンプトへの過度な適合、という2つの大きな課題に直面している。 自己教師型補助タスクによる推論中に各テストビデオの最適化をパーソナライズする軽量なテスト時間適応フレームワークであるVid-TTAを提案する。
  論文  参考訳（メタデータ） (2025-07-29T14:31:17Z)
• DiffVSR: Revealing an Effective Recipe for Taming Robust Video Super-Resolution Against Complex Degradations [25.756755602342942]
  本稿では,この学習負担を段階的学習を通じて体系的に分解するプログレッシブ・ラーニング・ストラテジー(PLS)を特徴とするDiffVSRを提案する。 我々のフレームワークには、追加のトレーニングオーバーヘッドを伴わずに競合時間一貫性を維持するILT(Interweaved Latent Transition)技術も組み込まれています。
  論文  参考訳（メタデータ） (2025-01-17T10:53:03Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Decomposition [52.89441679581216]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的または静的なシーンの復元を目指している。 本稿では、ビューに依存しない、ビューに依存しないコンポーネントを組み込んだ革新的なビデオ分解戦略を提案する。 我々のフレームワークは、既存のメソッドを一貫して上回り、新しいSOTAパフォーマンスを確立します。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution [65.91317390645163]
  Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。 ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。 また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
  論文  参考訳（メタデータ） (2023-12-11T18:54:52Z)
• Edit Temporal-Consistent Videos with Image Diffusion Model [49.88186997567138]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルがテキスト誘導ビデオ編集のために拡張されている。 Tは、ビデオ時間的一貫性とビデオ編集機能の両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-17T16:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。