論文の概要: FlashRender: Few-Step Generative Rendering via Camera-Controlled Video MeanFlow
- arxiv url: http://arxiv.org/abs/2609.03563v1
- Date: Thu, 03 Sep 2026 09:05:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:38.999333
- Title: FlashRender: Few-Step Generative Rendering via Camera-Controlled Video MeanFlow
- Title（参考訳）: FlashRender:カメラで調整したビデオで数ステップのジェネレーションレンダリング
- Abstract要約: FlashRenderは数ステップの生成レンダリングフレームワークで、ターゲットのカメラ軌道に沿って数秒でソースビデオを取得する。
Representation Transformation and Alignment (RETA)を導入し、凍結した視覚幾何学モデルから、隠れた映像表現とターゲット映像特徴とを一致させる。
次に,RETAにより誘導される低曲率デノベーション軌道のMeanFlow目標を用いてモデルを微調整し,より効果的に離散化誤差に対処する。
- 参考スコア（独自算出の注目度）: 20.29279626619687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present FlashRender, a few-step generative rendering framework that retakes a source video along a target camera trajectory in seconds. We identify sampling-step-dependent camera control as a prominent manifestation of discretization error in existing multi-step generative rendering models and show that resolving this inconsistency substantially lowers denoising trajectory curvature, facilitating subsequent step distillation. To this end, we introduce Representation Transformation and Alignment (RETA), which aligns hidden source-video representations with target-video features from a frozen visual geometry model. This directly encodes the geometric transformation within the source-video stream, enabling sampling-step-consistent camera control. We then fine-tune the model with the MeanFlow objective on the lower-curvature denoising trajectory induced by RETA, allowing the model to more effectively address discretization error. Finally, we apply on-policy flow map distillation to correct self-rollout errors under fixed few-step sampling. Extensive experiments show that RETA, MeanFlow, and on-policy flow map distillation play complementary roles in few-step generative rendering. Together, they enable our approach to match multi-step baselines in video quality and geometric consistency at 25x lower sampling cost while achieving superior camera controllability, even under out-of-distribution target camera trajectories.
- Abstract（参考訳）: FlashRenderは数ステップで生成するレンダリングフレームワークで、ターゲットのカメラ軌道に沿ってソースビデオを数秒で取得します。
既存の多段階生成レンダリングモデルにおいて、サンプリングステップ依存カメラ制御は離散化誤差の顕著な顕在化であり、この不整合の解消は軌道曲率を著しく低下させ、その後のステップ蒸留を容易にすることを示す。
そこで我々はRepresentation Transformation and Alignment (RETA)を導入し、凍結した視覚幾何学モデルから隠れた映像表現とターゲット映像特徴を一致させる。
これにより、ソース-ビデオストリーム内の幾何学的変換を直接符号化し、サンプリング-ステップ-一貫性カメラ制御を可能にする。
次に,RETAにより誘導される低曲率デノベーション軌道のMeanFlow目標を用いてモデルを微調整し,より効果的に離散化誤差に対処する。
最後に, 固定された数ステップサンプリングの自己ロールアウト誤差を補正するために, オンラインフローマップ蒸留を適用した。
大規模な実験により、RETA、MeanFlow、およびオンラインフローマップ蒸留は、数段階の生成レンダリングにおいて相補的な役割を果たすことが示された。
同時に,映像品質の多段階ベースラインと,25倍のサンプリングコストでの幾何整合性を両立させるとともに,配電対象カメラ軌道下においても優れたカメラ制御性を実現する。
関連論文リスト
- GeoStream: Toward Precise Camera Controlled Streaming Video Generation [85.01823220801256]
既存のアプローチはカメラの動きを暗黙的に学習し、アウト・オブ・ディストリビューション・トラジェクトリの下で不正確な制御をもたらす。
厳密な幾何学的条件付けにより制御性が向上するが、既存の手法は非自己回帰的である。
自動回帰ストリーミングビデオ生成における高精度なメカニカルカメラ制御を実現するフレームワークであるGeoStreamを提案する。
論文 参考訳（メタデータ） (2026-06-13T07:18:04Z) - AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation [70.80207977907908]
フローマップをベースとした,最初のノンステップビデオ拡散蒸留フレームワークであるAnyFlowを紹介した。
我々は、AnyFlowがいくつかの段階において、パフォーマンスの一致を達成するか、一貫性ベースの結果を上回ることを示す。
論文 参考訳（メタデータ） (2026-05-13T16:06:34Z) - Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting [3.1328424544428852]
インターネット規模のモノクロビデオを活用するためのフレームワークを構築した。
私たちのコアコントリビューションは、ソースビデオ、幾何アンカー、ターゲットビデオからなる擬似多視点トレーニング三脚の生成です。
提案する拡散変圧器は4Dポイントクラウド誘導アンカーを用いて,最先端の時間的整合性を実現する。
論文 参考訳（メタデータ） (2026-04-23T15:32:56Z) - Blur2seq: Blind Deblurring and Camera Trajectory Estimation from a Single Camera Motion-blurred Image [2.842028685390758]
カメラの揺らぎによる動きのぼやけは、特に大きな動きや回転運動の下では、画像復元において大きな課題である。
本稿では,1つのぼやけた画像から潜時鋭い画像と下層のカメラ運動軌跡を共同で推定する深層学習フレームワークを提案する。
本手法は,合成データと実データの両方で最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-10-23T13:26:07Z) - SwiftVideo: A Unified Framework for Few-Step Video Generation through Trajectory-Distribution Alignment [76.60024640625478]
拡散ベースまたはフローベースモデルは、ビデオ合成において大きな進歩を遂げているが、複数の反復サンプリングステップが必要である。
本稿では, トラジェクトリ保存と分散マッチングの利点を組み合わせた, 統一かつ安定な蒸留フレームワークを提案する。
提案手法は高品質なビデオ生成を維持しつつ,推論ステップの数を著しく削減する。
論文 参考訳（メタデータ） (2025-08-08T07:26:34Z) - Taming generative video models for zero-shot optical flow extraction [28.176290134216995]
将来のフレーム予測のためにのみ訓練された自己教師付きビデオモデルは、微調整なしで、出力フローを誘導することができる。
対実世界モデル(CWM)パラダイムに触発されて、我々はこのアイデアを生成型ビデオモデルに拡張する。
KLトラシング(KL-tracing)は、局所摂動を第1フレームに注入し、モデルを第1ステップでロールアウトし、摂動分布と非退化予測分布の間のクルバック・リーブラー分岐を計算する、新しいテストタイムプロシージャである。
論文 参考訳（メタデータ） (2025-07-11T23:59:38Z) - Latent-Reframe: Enabling Camera Control for Video Diffusion Model without Training [51.851390459940646]
我々は、微調整なしで事前訓練されたビデオ拡散モデルでカメラ制御が可能なLatent-Reframeを紹介した。
Latent-Reframeはサンプリング段階で動作し、オリジナルのモデル分布を維持しながら効率を維持する。
当社のアプローチでは,ビデオフレームの潜在コードを再設計し,タイムアウェアな点雲を通して入力カメラ軌跡と整合する。
論文 参考訳（メタデータ） (2024-12-08T18:59:54Z) - TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。
TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。
TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
論文 参考訳（メタデータ） (2023-12-01T15:24:38Z) - Unsupervised Flow-Aligned Sequence-to-Sequence Learning for Video
Restoration [85.3323211054274]
ビデオシーケンス内のフレーム間関係を適切にモデル化する方法は、ビデオ復元(VR)において重要であるが未解決の課題である。
本研究では,この問題を解決するために,教師なしフローアライメントシーケンス・ツー・シーケンス・モデル(S2SVR)を提案する。
S2SVRは、ビデオデブリ、ビデオスーパー解像度、圧縮されたビデオ品質向上など、複数のVRタスクにおいて優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2022-05-20T14:14:48Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。