論文の概要: Vorch-Director: Interactive World Story Model via Noise-Aware Error Rectification
- arxiv url: http://arxiv.org/abs/2608.05776v1
- Date: Thu, 06 Aug 2026 09:09:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.862158
- Title: Vorch-Director: Interactive World Story Model via Noise-Aware Error Rectification
- Title（参考訳）: Vorch-Director:ノイズ認識による対話型ワールドストーリーモデル
- Abstract要約: Vorch-Directorはノイズレベルの残留補正戦略である。
残差を元のノイズレベルに関連付け、トレーニング中に一致したノイズレジームから残差を注入する。
より現実的な自己回帰の歴史を生み出し、効率的な教師強制訓練を継続する。
- 参考スコア（独自算出の注目度）: 28.964205712747255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoregressive continuation provides a natural path toward minute-scale audio-visual generation by repeatedly extending a short-window generator conditioned on previously generated video and audio. However, models are trained on clean ground-truth histories, while inference relies on their own generated histories, where accumulated errors cause identity drift, over-smoothing, and audio-visual desynchronization. Recent methods reduce this mismatch by reusing prediction residuals as synthetic corruption, but we observe that the effectiveness of residual correction critically depends on the flow-matching noise level at which residuals are produced. We propose Vorch-Director, a noise-level-aware residual correction strategy that associates each residual with its originating noise level and injects residuals from matched noise regimes during training. By aligning injected errors with the denoising process, Vorch-Director produces more realistic autoregressive histories while retaining efficient teacher-forcing training. Built on the audio-visual LTX-2 diffusion transformer, Vorch-Director further introduces task embeddings to distinguish historical video, reference images, and target video, enabling unified conditioning for long-horizon generation. Together with a clean conditioning sink and mixed-task training, Vorch-Director supports multi-shot, multi-subject, reference-guided audio-visual long-video generation. We evaluate Vorch-Director on ST-Bench and introduce a new long-horizon audio-visual benchmark with metrics for quality drift and long-range consistency. Extensive experiments demonstrate improved stability and audio-visual fidelity over strong baselines.
- Abstract（参考訳）: 自己回帰継続は、以前生成されたビデオとオーディオに条件付けられたショートウィンドウジェネレータを繰り返し拡張することにより、微小スケールのオーディオ視覚生成に向けた自然な経路を提供する。
しかし、モデルはクリーンな接地履歴に基づいて訓練される一方で、推論は自身の生成した履歴に依存しており、累積誤差はアイデンティティのドリフト、過度なスムーシング、オーディオ-視覚的デシンクロゼーションを引き起こす。
近年の手法では, 予測残差を合成汚損として再利用することで, このミスマッチを低減しているが, 残差補正の有効性は, 残差発生時の流れマッチングノイズレベルに大きく依存している。
本稿では,各残差を元の雑音レベルに関連付け,一致した雑音状態から残差を注入する雑音レベル対応残差補正戦略であるVorch-Directorを提案する。
Vorch-Directorは、注入されたエラーをデノナイジングプロセスと整合させることで、より現実的な自己回帰履歴を生成しながら、効率的な教師強制訓練を継続する。
Vorch-Director は LTX-2 拡散変換器をベースとして, 履歴映像, 参照画像, ターゲット映像を識別するタスク埋め込みを導入し, 長期化のための統一条件設定を実現している。
クリーンなコンディショニングシンクとミックスタスクトレーニングと合わせて、Vorch-Directorはマルチショット、マルチオブジェクト、参照誘導オーディオ-視覚ロングビデオ生成をサポートする。
我々はST-Bench上でのVorch-Directorの評価を行い、高品質なドリフトと長距離整合性のためのメトリクスを備えた新しいロングホライゾン・オーディオ・ヴィジュアル・ベンチマークを導入する。
大規模な実験では、強いベースラインに対する安定性とオーディオ-視覚的忠実度が改善された。
関連論文リスト
- Equilibrium Forcing: Adaptive Video Generation Without Noise Conditioning [85.93126001283169]
ノイズレベル条件のない生成モデルを映像化するためのフレームワークであるEquilibrium Forcing (EqF)を紹介する。
この柔軟性により、サンプルからのフィードバックに適応してクローズドループで動作する推論時アルゴリズムが実現される。
論文 参考訳（メタデータ） (2026-08-11T00:02:32Z) - Test-Time Self-Adaptive Conditioning for Stable Audio-Driven Talking-Head Generation [28.732587811107777]
パラメータフリーな推論フレームワークであるTest-Time Self-Adaptive Conditioning (TT-SAC)を導入する。
単一適応ステップは、生成過程の自己整合平衡を近似し、時間にわたってアイデンティティと動きを安定化する。
最先端のトーキングヘッドジェネレータとベンチマークデータセットの実験では、リップシンクの精度、時間的コヒーレンス、アイデンティティの保存、知覚の忠実さが一貫した改善を示している。
論文 参考訳（メタデータ） (2026-05-25T06:45:29Z) - RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO [53.38929612273108]
因果自己回帰ビデオ拡散モデルは、以前生成されたコンテンツから将来のチャンクを外挿することでリアルタイムストリーミング生成をサポートする。
本稿では,リアルタイム自動回帰ビデオ補間ネットワーク(RAVEN)を紹介した。これは,各自己ロールアウトを,クリーンな歴史的エンドポイントのインターリーブシーケンスに再パッケージするトレーニングタイムテストフレームワークである。
論文 参考訳（メタデータ） (2026-05-14T17:59:30Z) - Accelerating Training of Autoregressive Video Generation Models via Local Optimization with Representation Continuity [57.83511884904928]
本研究では,実証分析による自己回帰映像生成モデルの訓練を高速化する手法を検討する。
その結果,少ないビデオフレームでのトレーニングではトレーニング時間が大幅に短縮される一方で,エラーの蓄積が悪化し,生成したビデオに矛盾が生じることが判明した。
リプシッツ連続性に触発されて、生成されたビデオの一貫性を改善するためにRepresentation Continuity(ReCo)戦略を提案する。
論文 参考訳（メタデータ） (2026-04-08T09:43:03Z) - Conditional Flow Matching for Visually-Guided Acoustic Highlighting [10.241097929338366]
視覚的に誘導された音響ハイライトは、付随するビデオとオーディオのバランスを調整し、一貫性のあるオーディオ視覚体験を作り出す。
既存のアプローチでは、オーディオリミックスの本来の曖昧さに苦しむ差別モデルを使用している。
この制限に対処するために、条件付きフローマッチング(CFM)フレームワークを導入します。
論文 参考訳（メタデータ） (2026-02-03T17:24:47Z) - End-to-End Training for Autoregressive Video Diffusion via Self-Resampling [63.84672807009907]
自己回帰ビデオ拡散モデルは、世界シミュレーションの可能性を保っているが、列車テストミスマッチに起因する露出バイアスに弱い。
教師なしのフレームワークであるResampling Forcingを導入し、スクラッチから大規模まで自動回帰ビデオモデルのトレーニングを可能にする。
論文 参考訳（メタデータ） (2025-12-17T18:53:29Z) - Adaptive Begin-of-Video Tokens for Autoregressive Video Diffusion Models [11.913945404405865]
ほとんどのビデオ拡散モデル(VDM)は自己回帰的な方法でビデオを生成し、それに続く繰り返しフレームを生成する。
本稿では,自動回帰VDMのためのAdaptive Begin-of-Video Tokens(ada-BOV)を提案する。
論文 参考訳（メタデータ） (2025-11-15T08:29:14Z) - Stable Video Infinity: Infinite-Length Video Generation with Error Recycling [76.91310169118408]
本研究では、高時間一貫性、可視的シーン遷移、制御可能なストリーミングストーリーラインを有する無限長ビデオを生成することができる安定ビデオインフィニティ(SVI)を提案する。
SVIにはError-Recycling Fine-Tuningが組み込まれており、これはDiffusion Transformerの自己生成エラーをスーパーバイザのプロンプトにリサイクルする、新しいタイプの効率的なトレーニングである。
我々は、一貫性、創造性、条件設定を含む3つのベンチマークでSVIを評価し、その汎用性と最先端の役割を徹底的に検証した。
論文 参考訳（メタデータ） (2025-10-10T09:45:46Z) - Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion [67.94300151774085]
本稿では,自己回帰ビデオ拡散モデルのための新しい訓練パラダイムであるSelf Forcingを紹介する。
露光バイアスの長年の問題に対処し、地道的な文脈で訓練されたモデルは、自身の不完全な出力で条件付けられたシーケンスを生成する必要がある。
論文 参考訳（メタデータ） (2025-06-09T17:59:55Z) - ScalingNoise: Scaling Inference-Time Search for Generating Infinite Videos [41.45750971432533]
ビデオ拡散モデル(VDM)は高品質のビデオの生成を容易にする。
近年,映像の質を高める「金音」の存在が報告されている。
本研究では,拡散サンプリングプロセスにおける黄金の初期雑音を識別する,プラグアンドプレイの推論時間探索手法であるScalingNoiseを提案する。
論文 参考訳（メタデータ） (2025-03-20T17:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。