論文の概要: FocusOPD: Structure-Guided On-Policy Distillation for Diffusion Models

• arxiv url: http://arxiv.org/abs/2610.21250v1
• Date: Thu, 15 Oct 2026 04:45:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.191805
• Title: FocusOPD: Structure-Guided On-Policy Distillation for Diffusion Models
• Title（参考訳）: FocusOPD:拡散モデルのための構造誘導オンポリシィ蒸留
• Abstract要約: マルチ教師のオンライン蒸留により、拡散変圧器アーキテクチャによる修正フローモデルにより、1人の学生でタスク固有の能力を組み合わせることができる。 我々は,トランスフォーマーブロック間の教師-学生特徴ミスマッチを解析し,このミスマッチが早期のデノナイズ時に深くトランスフォーマーブロックに集中し,OPD蒸留後に持続していることを見出した。 この観察に動機づけられたFocusOPDは,深層に制限されたトークン単位の指向性特徴アライメントと早期認知ステップを基本目標として拡張する。
• 参考スコア（独自算出の注目度）: 17.39170654348241
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-teacher on-policy distillation enables rectified-flow models with diffusion-transformer architectures to combine task-specific capabilities within a single student. However, matching model outputs does not guarantee that their internal representations are aligned, and it remains unclear where and when additional feature supervision is most useful. We analyze the teacher-student feature mismatch across Transformer blocks and denoising timesteps, and find that the mismatch is concentrated in deeper Transformer blocks during early denoising and persists after OPD distillation, indicating ineffective distillation. Motivated by this observation, we introduce FocusOPD, which augments the base OPD objective with token-wise directional feature alignment restricted to deep layers and early denoising steps. Across two rectified-flow backbones and multiple OPD objectives, FocusOPD improves capability transfer in compositional generation, text rendering, and preference-based evaluation. On the primary benchmark, it improves over DiffusionOPD from 0.953 to 0.967 on GenEval, from 23.797 to 23.944 on PickScore, and from 6.052 to 6.199 on LAION-Aesthetic. Ablations show that selective deep and early supervision is more effective and efficient than alignment over the full network and trajectory.
• Abstract（参考訳）: マルチ教師のオンライン蒸留により、拡散変圧器アーキテクチャによる修正フローモデルにより、1人の学生でタスク固有の能力を組み合わせることができる。 しかし、一致したモデル出力は、内部表現が一致していることを保証するものではない。 我々は,トランスフォーマーブロック間の教師-学生特徴ミスマッチを解析し,このミスマッチが早期のデノナイズ時に深くトランスフォーマーブロックに集中し,OPD蒸留後に持続し,非効率な蒸留を行うことを示す。 この観察に動機づけられたFocusOPDは,深層に制限されたトークン単位の指向性特徴アライメントと早期デノナイジングステップにより,基礎となるOPD目標を増強する。 修正された2つのバックボーンと複数のPD目標にまたがって、FocusOPDは、合成生成、テキストレンダリング、嗜好に基づく評価における能力伝達を改善する。 主要なベンチマークでは、DiffusionOPDをGenEvalで0.953から0.967に、PickScoreで23.797から23.944に、LAION-Aestheticで6.052から6.199に改善した。 アブレーションは、完全なネットワークと軌道上のアライメントよりも、選択的な深層および早期監視の方が効率的かつ効率的であることを示している。

関連論文リスト

• DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models [11.299607850340607]
  DreOPDは、フローマッチングモデルのための分解参照補間OPD法である。 DreOPD は OPD とマルチタスク RL のベースラインを平均性能で上回ることを示す。
  論文  参考訳（メタデータ） (2026-08-10T07:55:57Z)
• Learning to Foresee: Unveiling the Unlocking Efficiency of On-Policy Distillation [51.210887267509854]
  OPDの効率は、トレーニングの初期段階において最終モデルに向けた安定的な更新軌道を確立する、フォレスト・オブ・ザ・イヤーズ(foresight')の形式に起因している、と我々は主張する。 我々は、外挿ステップのサイズを適応的に選択し、現在の更新方向に沿って移動することにより、OPDを高速化するプラグイン・アンド・プレイ・アクセラレーション手法である textbfEffOPD を提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:19:15Z)
• Flow-OPD: On-Policy Distillation for Flow Matching Models [42.290892456464896]
  Flow-OPDは、オンライン蒸留をFlow Matchingモデルに統合するポストトレーニングフレームワークである。 これはGenEvalのスコアを63から92に引き上げ、OCRの精度を59から94に引き上げ、バニラGRPOよりも10点程度向上した。 これらの結果は、汎用的なテキスト-画像モデルを構築するためのスケーラブルなアライメントパラダイムとして、Flow-OPDを確立する。
  論文  参考訳（メタデータ） (2026-05-08T17:50:15Z)
• Function-Space Decoupled Diffusion for Forward and Inverse Modeling in Carbon Capture and Storage [65.51149575007149]
  本稿では,Fun-DDPSについて述べる。Fun-DDPSは,関数空間拡散モデルと微分可能なニューラル演算子サロゲートを結合した生成フレームワークである。 Fun-DDPSは、ジョイントステートベースラインで観察される高周波アーティファクトから、物理的に一貫した実現をもたらす。
  論文  参考訳（メタデータ） (2026-02-12T18:58:12Z)
• REPA-E: Unlocking VAE for End-to-End Tuning with Latent Diffusion Transformers [52.55041244336767]
  従来のディープラーニングの知恵は、エンド・ツー・エンドのトレーニングが可能な限り望ましいと判断する。 遅延拡散変換器では,標準拡散損失を用いたVAEと拡散モデルの両方のエンドツーエンドトレーニングが有効でないことが観察された。 拡散損失は非効率であるが,表現アライメント(REPA)の損失によってエンドツーエンドのトレーニングをアンロックできることが示されている。
  論文  参考訳（メタデータ） (2025-04-14T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。