論文の概要: SpecLoR: Spectral Lookahead Rectification for Motion-Coherent Text-to-Video Generation
- arxiv url: http://arxiv.org/abs/2606.11969v1
- Date: Wed, 10 Jun 2026 11:49:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.436843
- Title: SpecLoR: Spectral Lookahead Rectification for Motion-Coherent Text-to-Video Generation
- Title（参考訳）: SpecLoR: モーションコヒーレントテキスト・ビデオ生成のための分光ルカヘッド整形
- Authors: Xu Zhang, Yu Lu, Ruijie Quan, Zhaozheng Chen, Bohan Wang, Yi Yang,
- Abstract要約: フローマッチングにより、潜在ODEを介して堅牢なテキスト・ビデオ生成が可能になった。
SpectLoRは物理アーティファクトを大幅に削減し、計算オーバーヘッドを最小限に抑えた複数のベンチマークでの動作コヒーレンスを向上させる。
- 参考スコア（独自算出の注目度）: 39.71466927392354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flow Matching has enabled robust text-to-video generation via latent ODE sampling. However, velocity approximation and numerical discretization errors inevitably accumulate, causing sampling trajectories to drift. Consequently, generated videos often suffer from severe spatiotemporal inconsistencies. Nevertheless, directly correcting these drifted, noisy latents is challenging: (i) timestep-dependent noise obscures reliable structural cues; (ii) spatial interventions risk disrupting intricate local geometry while incurring heavy computational costs. To address this, we propose Spectral Lookahead Rectification (SpecLoR), a plug-and-play inference method that bypasses noise via lookahead prediction, and circumvents spatiotemporal entanglement by shifting corrections to the frequency domain, where universal statistical priors of natural videos are readily available. First, during early sampling stages, SpecLoR looks ahead to estimate the clean latent $z_{t,0}$ and computes its 3D spatiotemporal spectrum. Next, SpecLoR rectifies the amplitude spectrum to match the prior, leaving the phase intact. Finally, the corrected state is re-noised to resume ODE integration. Experiments on Wan2.2 demonstrate that SpecLoR significantly reduces physical artifacts and enhances motion coherence across multiple benchmarks with minimal computational overhead (4 additional NFEs).
- Abstract（参考訳）: Flow Matchingは、潜在ODEサンプリングによる堅牢なテキスト・ビデオ生成を可能にする。
しかし、速度近似と数値離散化誤差は必然的に蓄積され、サンプリング軌道がドリフトする。
その結果、生成されたビデオは時空間的不整合に悩まされることが多い。
それでも、これらの漂流した、騒々しい潜伏者を直接修正することは難しい。
(i)時間に依存したノイズは、信頼性のある構造的手がかりを曖昧にする。
(II)空間介入は複雑な局所幾何学を妨害し、計算コストが重くなるリスクを負う。
そこで本研究では,視線予測による雑音を回避し,周波数領域に補正を移すことで時空間の絡みを回避し,自然ビデオの普遍的な統計的先行情報が手に入ることのできるSpectral Lookahead Rectification(SpecLoR)を提案する。
第一に、初期サンプリング段階において、SpecLoR はクリーン潜時値 $z_{t,0}$ を推定し、その3次元時空間スペクトルを計算する。
次に、SpecLoRは振幅スペクトルを前と一致するように修正し、位相をそのままにする。
最後に、修正された状態はODE統合を再開するために再通知される。
Wan2.2の実験では、SpecLoRは物理的アーティファクトを著しく減らし、最小の計算オーバーヘッド(4つの追加NFE)を持つ複数のベンチマークで運動コヒーレンスを高めることが示されている。
関連論文リスト
- Learning to Refine: Spectral-Decoupled Iterative Refinement Framework for Precipitation Nowcasting [21.300422393514804]
本稿では,現在放送を進行周波数分離改良として再編成する決定論的枠組みを提案する。
SDIRはまず安定な低周波合成骨格を抽出し、次いで物理的制約下で高周波テクスチャを反復的に洗練する。
3つのベンチマークで実験したところ、SDIRは空間精度でSOTA法を著しく上回っている。
論文 参考訳（メタデータ） (2026-06-01T07:34:30Z) - Bridging Restoration and Generation Manifolds in One-Step Diffusion for Real-World Super-Resolution [22.963799508399365]
最近の単一段階蒸留は推論を加速するが、認識歪んだトレードオフに直面している。
実時間ISR(IDaS-SR)の適応的インバージョンと劣化認識サンプリングを提案する。
IDaS-SRは決定論的復元と生成のボトルネックを埋める一段階のフレームワークである。
論文 参考訳（メタデータ） (2026-04-27T07:43:00Z) - GS-STVSR: Ultra-Efficient Continuous Spatio-Temporal Video Super-Resolution via 2D Gaussian Splatting [71.12303582606019]
Continuous Video Super-Resolution (C-STVSR) は、任意のスケールファクタによる動画の空間的・フレーム的レートの同時向上を目的としている。
2次元ガウシアンティング(2D-GS)に基づく超効率的なC-STVSRフレームワークであるGS-STVSRを提案する。
GS-STVSRは,すべてのベンチマークにおいて最先端の品質を実現していることを示す。
論文 参考訳（メタデータ） (2026-04-20T10:11:05Z) - End-to-End Spatial-Temporal Transformer for Real-time 4D HOI Reconstruction [74.31251139839047]
THOは、ビデオと3Dテンプレートから、人間の動きと調整された物体の動きを前方に予測する、エンドツーエンドの空間-時間変換器である。
実験により、THOは1つの4090 GPU上で31.5 FPSの推論速度で動作し、以前の最適化ベースの手法よりも600倍のスピードアップを達成した。
論文 参考訳（メタデータ） (2026-03-15T15:21:36Z) - Exploring Spatiotemporal Feature Propagation for Video-Level Compressive Spectral Reconstruction: Dataset, Model and Benchmark [22.5556672954071]
SCI(Spectral Compressive Imaging)は、ダイナミックスペクトルビジョンにおいて大きな可能性を秘めている。
既存の再建法は、主にイメージベースであり、2つの制限がある。
フレーム・バイ・フレームの再構築パラダイムは、ビデオ知覚において重要な時間的一貫性を確保するのに失敗する。
論文 参考訳（メタデータ） (2026-02-28T12:11:13Z) - PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。
本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。
解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
論文 参考訳（メタデータ） (2025-11-14T05:56:47Z) - Stable Video Infinity: Infinite-Length Video Generation with Error Recycling [76.91310169118408]
本研究では、高時間一貫性、可視的シーン遷移、制御可能なストリーミングストーリーラインを有する無限長ビデオを生成することができる安定ビデオインフィニティ(SVI)を提案する。
SVIにはError-Recycling Fine-Tuningが組み込まれており、これはDiffusion Transformerの自己生成エラーをスーパーバイザのプロンプトにリサイクルする、新しいタイプの効率的なトレーニングである。
我々は、一貫性、創造性、条件設定を含む3つのベンチマークでSVIを評価し、その汎用性と最先端の役割を徹底的に検証した。
論文 参考訳（メタデータ） (2025-10-10T09:45:46Z) - DiTVR: Zero-Shot Diffusion Transformer for Video Restoration [48.97196894658511]
DiTVRはゼロショットビデオ復元フレームワークで、拡散トランスフォーマーと軌跡を意識した注意と流れ一貫したサンプルを結合する。
我々の注意機構は、光流路に沿ってトークンを整列させ、特に時間力学に最も敏感な重要な層に重点を置いている。
フローガイドされたサンプリング装置は、低周波帯域にのみデータの一貫性を注入し、キャッシュを加速させながら高周波事前保存を行う。
論文 参考訳（メタデータ） (2025-08-11T09:54:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。