論文の概要: Salt++: Context-Aligned Post-Training for Few-Step Streaming Multimodal Generation

• arxiv url: http://arxiv.org/abs/2609.36995v1
• Date: Tue, 29 Sep 2026 08:26:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.317442
• Title: Salt++: Context-Aligned Post-Training for Few-Step Streaming Multimodal Generation
• Title（参考訳）: Salt++: Few-Step Streaming Multimodal Generationのためのコンテキストアライメント後トレーニング
• Abstract要約: ストリーミングオーディオ-ビデオ生成は因果モデリングとステップ蒸留の両方を必要とする。 トレーニング後の2段階のフレームワークであるSalt++で、これらの課題に対処します。 Salt++は、JavisBench上のOmniForcingよりも視覚的および運動的品質を57%、そして45%向上させる。
• 参考スコア（独自算出の注目度）: 30.205869844299006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-step streaming audio--video generation requires both causal modeling and step distillation, yet standard training recipes face two context-related challenges. Teacher forcing pairs clean history with a noisy target, but supervises predictive contextual representations only indirectly through velocity prediction. Meanwhile, directly reusing bidirectional score models in causal Distribution Matching Distillation (DMD) creates a mismatch between generation and scoring contexts. We address these challenges with Salt++, a two-stage post-training framework comprising Causal Self-Flow (CSF) and context-aligned autoregressive DMD. CSF exploits contextual information asymmetry by varying the history while keeping the noisy target fixed: a noise-mixed-history student aligns its intermediate representations with those of a clean-history exponential-moving-average teacher. This self-supervised signal encourages the student to extract semantic information and improves cross-modal alignment. Context-aligned AR DMD shares the causal mask and prefix across generator sampling, fake-score training, and real-score evaluation to match generated and reference distributions under a block-conditional KL objective. With calibrated teacher guidance, it performs clean-prefix few-step distillation and then adapts to generated histories without switching objectives or requiring separate consistency distillation. At 480p, Salt++ improves visual and motion quality by 57% and 45% over OmniForcing on JavisBench under the same 4-step causal setting. A separate scale-wise post-training stage extends Salt++ to 4-step $1664\times960$ generation, outperforming bidirectional LTX-2 on six of seven reported metrics. Project page: https://xingtongge.github.io/Saltpp
• Abstract（参考訳）: 数ステップのストリーミングオーディオ-ビデオ生成では因果モデリングとステップ蒸留の両方が必要となるが、標準的なトレーニングレシピは2つのコンテキストに関連した課題に直面している。 教師は、ノイズの多いターゲットでペアをクリーンな歴史に強制するが、ベロシティ予測を通してのみ間接的に予測的文脈表現を監督する。 一方、因果分布マッチング蒸留(DMD)における双方向スコアモデルを直接再利用すると、生成コンテキストとスコアリングコンテキストのミスマッチが発生する。 このような課題に対して,Causal Self-Flow(CSF)とコンテキスト整合型自己回帰MDDを組み合わせた2段階のポストトレーニングフレームワークであるSalt++で対処する。 ノイズ混合歴史学生は、その中間表現をクリーン・ヒストリー的な指数運動平均教師のものと整合させる。 この自己教師信号は、学生に意味情報を抽出し、相互のアライメントを改善する。 コンテキストアラインAR DMDは、生成元サンプリング、偽スコアトレーニング、およびブロック条件KLの目的の下で生成されたおよび参照分布にマッチする実スコア評価において、因果マスクと接頭辞を共有する。 校正された教師指導により、清潔な数段階蒸留を行い、目的を切り替えたり、別々に一貫した蒸留を必要とすることなく、生成した履歴に適応する。 480pのSalt++は、同じ4ステップの因果設定で、OmniForcing on JavisBenchよりも57%、モーション品質が45%向上した。 個別のスケールワイドポストトレーニングステージは、Salt++を4ステップの1664\times960$ジェネレーションに拡張し、報告された7つのメトリクスのうち6つで、双方向のLTX-2を上回っている。 プロジェクトページ:https://xingtongge.github.io/Saltpp

関連論文リスト

• Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation [97.02922768457239]
  Context-Matched Distillation (CMD) は、教師の監督と、各ターゲットが生成される際に利用可能な情報とを整合させる因果的MDDフレームワークである。 Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングを安定化させる。 ショートビデオとロングビデオの両方のベンチマークで、自己回帰手法における最先端の集約性能を実証した。
  論文  参考訳（メタデータ） (2026-08-13T15:51:31Z)
• Reducing Pretraining-Generation Mismatch in Diffusion Language Models [40.976447974457734]
  自動回帰言語モデルは、トレーニングと使用を整合させる: クリーンプロンプトの生成条件とトレーニングは、クリーン左のコンテキストから将来のトークンを予測する。 我々は,ARプレフィックスと非シフト接尾辞を併用した事前学習目的であるPCD(Prefix-Conditioned Diffusion)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T10:52:20Z)
• Trace-Based On-Policy Distillation for Masked Diffusion Language Models [14.931427442072502]
  dLLMの監視された微調整 (SFT) には、密度が高いが、しばしば非政治的なマスク状態が必要である。 強化学習(RL)はスパース報酬や価値モデリングに依存している。 本稿では, 教師が指導する目標dLLMに推論能力を伝達するフレームワークであるtextbftrace-based on-policy distillation (TOPD)を提案する。
  論文  参考訳（メタデータ） (2026-07-18T16:25:17Z)
• SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation [57.297118390628384]
  分散マッチング蒸留(DMD)は、数ステップのビデオ拡散モデルにおいて、推論を加速するための広く使われているパラダイムである。 textbfScore Gradient Matching Distillation (SGMD)を提案する。 教師の停止段階のフィッシャーを安定した分布マッチングの目的として使用しながら、教師に対して偽スコアを直接最適化することで、偽スコアの視点を採用する。 時間的一貫性を維持しつつ、4段階蒸留モデルの運動力学を大幅に改善する。
  論文  参考訳（メタデータ） (2026-05-28T15:50:55Z)
• Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation [50.55853275866995]
  リアルタイムのインタラクティブなビデオ生成には、低レイテンシ、ストリーミング、コントロール可能なロールアウトが必要である。 本稿では,フレームワイドの自己回帰を1～2ステップのサンプリングで行うという,よりアグレッシブな設定について検討する。 原理的かつスケーラブルなパイプラインである textbfCausal Forcing++ を提案する。
  論文  参考訳（メタデータ） (2026-05-14T17:46:36Z)
• TAD: Temporal-Aware Trajectory Self-Distillation for Fast and Accurate Diffusion LLM [18.69783590125584]
  拡散大言語モデル(dLLM)は、並列テキスト生成に有望なパラダイムを提供する。 彼らは精度のパラレルなトレードオフに直面しており、1フォワード当たりのトークンの増加は世代品質を劣化させることが多い。 既存の加速法は精度を犠牲にして速度を上げることが多い。 本稿では, 時間認識型自己蒸留フレームワークTADを提案する。
  論文  参考訳（メタデータ） (2026-05-10T13:38:53Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。