論文の概要: Accelerating Visual On-Policy Distillation with Batched Speculative Jacobi Rollouts

• arxiv url: http://arxiv.org/abs/2608.18183v1
• Date: Tue, 18 Aug 2026 07:16:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.172659
• Title: Accelerating Visual On-Policy Distillation with Batched Speculative Jacobi Rollouts
• Title（参考訳）: Batched Speculative Jacobi Rollouts による視覚的オンライン蒸留の高速化
• Authors: Bingqi Shan, Zhehao Yu, Kenhong Lin, Baoquan Zhang,
• Abstract要約: HB-SJDは、ジャコビデコードロールアウトバックエンドである。 LlamaGenによる実験によると、HB-SJDはロールアウトとエンドツーエンドのトレーニング時間を著しく短縮する。
• 参考スコア（独自算出の注目度）: 7.713269919162493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual on-policy distillation (OPD) improves the training of compact visual autoregressive models by learning from trajectories generated by the current student. However, these online rollouts are still produced token by token with autoregressive decoding, which adds substantial cost to every on-policy training step. Speculative Jacobi Decoding (SJD) provides an alternative because it can process multiple tokens in parallel without an auxiliary draft model, but the original method is designed for single-sequence inference. We introduce HB-SJD, a batched SJD rollout backend for visual OPD. HB-SJD allows each image to advance independently according to its own decoding progress, while images at different sequence positions are still verified in batched model forwards. As images finish, HB-SJD switches between Full and Compact execution to reduce the cost of later rollout rounds. HB-SJD only replaces the student rollout backend and leaves the teacher, distillation objective, and optimization procedure unchanged. Experiments with LlamaGen show that HB-SJD substantially reduces rollout and end-to-end training time while preserving the generation quality of the distilled student.
• Abstract（参考訳）: 視覚的オンライン蒸留(OPD)は、現在の学生が生み出す軌跡から学習することで、コンパクトな視覚自己回帰モデルの訓練を改善する。 しかしながら、これらのオンラインロールアウトは、オートレグレッシブデコーディングを備えたトークンによって引き続き生成され、オン・ポリティクスのトレーニングステップ毎にかなりのコストがかかる。 投機的ヤコビ復号法(SJD)は、補助的なドラフトモデルなしで複数のトークンを並列に処理できるが、元の方法は単一シーケンス推論のために設計されている。 視覚的PDのためのバッチSJDロールアウトバックエンドであるHB-SJDを紹介する。 HB-SJDは、各画像が独自のデコード進行に応じて独立に進行するのに対して、異なるシーケンス位置にある画像は、バッチモデルフォワードで検証される。 画像が終了すると、HB-SJDはフル実行とコンパクト実行を切り替え、後のロールアウトラウンドのコストを削減した。 HB-SJDは学生のロールアウトバックエンドを置き換えるだけで、教師、蒸留目標、最適化手順は変わらない。 LlamaGenを用いた実験により,HB-SJDは蒸留生の生成品質を維持しつつ,ロールアウトとエンドツーエンドのトレーニング時間を著しく短縮することが示された。

関連論文リスト

• Visual Contrastive Self-Distillation [61.298159957622886]
  本稿では,視覚的コントラスト自己蒸留法を提案する。 これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
  論文  参考訳（メタデータ） (2026-07-23T17:37:37Z)
• SJD-VP: Speculative Jacobi Decoding with Verification Prediction for Autoregressive Image Generation [64.43642479951576]
  投機的ヤコビ復号法(SJD)は自己回帰画像生成を高速化するための有望な手法として登場した。 検証予測付き投機的ヤコビ復号法(SJD-VP)を提案する。 我々のSJD-VPはプラグアンドプレイであり、既存のSJDメソッドにシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-03-28T03:59:03Z)
• SJD-PAC: Accelerating Speculative Jacobi Decoding via Proactive Drafting and Adaptive Continuation [13.295759874474767]
  Speculative Jacobi Decoding (SJD) は、自動回帰テキスト-画像合成を高速化するためのドラフトモデルなしのアプローチを提供する。 SJD-PACは、高エントロピー領域に挑戦する地域の受容率を改善するために、積極的な起草戦略を採用している。 標準のテキスト・ツー・イメージベンチマークの実験では、SJD-PACは損失のない画質で3.8倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-03-19T08:15:18Z)
• SJD++: Improved Speculative Jacobi Decoding for Training-free Acceleration of Discrete Auto-regressive Text-to-Image Generation [92.34355601866629]
  大規模な自己回帰モデルは高品質で高解像度の画像を生成することができるが、生成速度が遅い。 本稿では,SJD++ (Speculative Jacobi Decoding++) を提案する。 SJD++は、各フォワードパスでマルチトークン予測を実行し、生成ステップを大幅に削減する。
  論文  参考訳（メタデータ） (2025-12-08T12:36:43Z)
• Towards Better Alignment: Training Diffusion Models with Reinforcement Learning Against Sparse Rewards [52.90573877727541]
  拡散モデル微調整では強化学習(RL)が検討されている。 RLの有効性はスパース報酬の挑戦によって制限される。 $textB2text-DiffuRL$は既存の最適化アルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2025-03-14T09:45:19Z)
• Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding [60.188309982690335]
  本稿では,SJD (Speculative Jacobi Decoding) の学習自由確率並列復号法を提案する。 SJDは、サンプリングベースのトークン復号におけるランダム性を維持しつつ、自動回帰テキスト・画像生成の推論を加速する。 具体的には、SJDは各ステップで複数のトークンを予測し、確率的基準に基づいてトークンを受け付けます。
  論文  参考訳（メタデータ） (2024-10-02T16:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。