論文の概要: Connected Self Forcing: Beyond Local Learning in Video Autoregression

• arxiv url: http://arxiv.org/abs/2610.12156v1
• Date: Thu, 08 Oct 2026 15:36:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.121842
• Title: Connected Self Forcing: Beyond Local Learning in Video Autoregression
• Title（参考訳）: Connected Self Forcing: ビデオ自動回帰におけるローカル学習を超えて
• Abstract要約: 自己強制は、キーバリュー(KV)キャッシングによる自己生成履歴の自己ロールアウトトレーニングを通じて露光バイアスを緩和する。 自動回帰チャンク間の勾配パスを再接続するトレーニングフレームワークであるConnected Self Forcingを紹介した。 自動回帰ビデオ生成実験では、推論手順を変更することなく、長時間の視覚的品質と時間的一貫性が改善された。
• 参考スコア（独自算出の注目度）: 45.96808525272501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To stream long videos while maintaining visual quality and temporal consistency, Self Forcing mitigates exposure bias through self-rollout training on self-generated histories with key-value (KV) caching. To keep memory manageable, it detaches historical caches, preserving forward dependencies between chunks but severing the backward gradient paths. We introduce Connected Self Forcing, a training framework that reconnects gradient paths across autoregressive chunks, allowing feedback from later predictions to guide how earlier context is generated. These connections go beyond historical KV-writing: gradients pass through generated latents into the computations that produced them, linking the generation of earlier context to its use in later predictions. To make this connected training memory-efficient, we develop shortcut gradient replay, which recovers cross-chunk gradients without retaining the full rollout computation graph. Integrated with distribution matching distillation, Connected Self Forcing trains historical chunks according to both their direct supervision and their contribution to subsequent generation. Experiments on autoregressive video generation show improvements in long-horizon visual quality and temporal consistency, without changing the inference procedure.
• Abstract（参考訳）: 視覚的品質と時間的一貫性を維持しながら、長いビデオをストリームするために、Self Forcingは、キーバリュー(KV)キャッシングによる自己生成履歴の自己ロールアウトトレーニングを通じて、露出バイアスを緩和する。 メモリ管理を可能にするため、チャンク間の依存関係を保ちながら、後方勾配のパスを切断して、履歴キャッシュを分離する。 Connected Self Forcingは、自動回帰チャンクにまたがる勾配パスを再接続するトレーニングフレームワークで、後続の予測からのフィードバックによって、以前のコンテキストの生成方法のガイドを可能にします。 これらの接続は、歴史的KV-書き込みを超越している: 勾配は生成された潜伏子を生成した計算に通し、初期のコンテキストの生成とその後の予測にその使用をリンクする。 このコネクテッドトレーニングをメモリ効率よくするために、全ロールアウト計算グラフを保持することなくクロスチャンク勾配を回復するショートカット勾配再生を開発する。 流通マッチング蒸留と統合されたコネクテッド・セルフフォースは、直接の監督とその後の世代への貢献の両方に応じて、歴史的なチャンクを列車で運転する。 自動回帰ビデオ生成実験では、推論手順を変更することなく、長時間の視覚的品質と時間的一貫性が改善された。

関連論文リスト

• Self Gradient Forcing: Native Long Video Extrapolation [60.00513917489133]
  自己グラディエント強制は、歴史的文脈-段階的ギャップを回復する。 コードとモデルがリリースされ、自動回帰ビデオ生成の研究が進められる。
  論文  参考訳（メタデータ） (2026-07-22T16:59:23Z)
• End-to-End Training for Autoregressive Video Diffusion via Self-Resampling [63.84672807009907]
  自己回帰ビデオ拡散モデルは、世界シミュレーションの可能性を保っているが、列車テストミスマッチに起因する露出バイアスに弱い。 教師なしのフレームワークであるResampling Forcingを導入し、スクラッチから大規模まで自動回帰ビデオモデルのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-12-17T18:53:29Z)
• Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion [67.94300151774085]
  本稿では,自己回帰ビデオ拡散モデルのための新しい訓練パラダイムであるSelf Forcingを紹介する。 露光バイアスの長年の問題に対処し、地道的な文脈で訓練されたモデルは、自身の不完全な出力で条件付けられたシーケンスを生成する必要がある。
  論文  参考訳（メタデータ） (2025-06-09T17:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。