論文の概要: DASH: Dual-Branch Score Distillation for Guidance-Calibrated Compact Diffusion Models

• arxiv url: http://arxiv.org/abs/2606.00798v1
• Date: Sat, 30 May 2026 16:35:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.780984
• Title: DASH: Dual-Branch Score Distillation for Guidance-Calibrated Compact Diffusion Models
• Title（参考訳）: DASH:誘導校正型小型拡散モデルのためのデュアルブランチスコア蒸留法
• Abstract要約: DASHは、両方のスコアブランチを監督する二重ブランチ蒸留フレームワークである。 TIRT Transferは、教師の時間単位の重要カリキュラムを凍結した前科として生徒にコピーする。
• 参考スコア（独自算出の注目度）: 3.0273878903284266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter compression of class-conditional diffusion models reveals an underexplored limitation in output-level distillation: the unconditional score branch remains unsupervised, leaving the classifier-free guidance gap underdetermined in the student. This gap, amplified at every denoising step, admits degenerate solutions where both branches collapse toward identical predictions, rendering guidance ineffective despite low output-level training loss. This paper introduces DASH, a dual-branch distillation framework that independently supervises both score branches, uniquely specifying target branch outputs for each training sample through independent branch constraints, with an anchor term regularising conditional predictions toward ground-truth noise. The framework further introduces TIRT Transfer, which copies the teacher's converged per-timestep importance curriculum into the student as a frozen prior, eliminating the need to relearn it within limited distillation budgets. Experiments on CIFAR-10 and CIFAR-100 demonstrate that 5.9x compression maintains quality within 4 FID points of the teacher at 50-step DDIM sampling, considerably outperforming training from scratch with guidance fidelity well preserved. Ablation studies confirm that unconditional supervision is the dominant contribution, accounting for over 60% of total distillation gain. Curriculum transfer and anchor regularisation provide complementary benefit, together validating dual-branch constraints as empirically essential for guidance-preserving compression.
• Abstract（参考訳）: クラス条件拡散モデルのパラメータ圧縮は、出力レベル蒸留における未探索の限界を明らかにし、未条件スコア分岐は教師なしのままであり、クラス化なし誘導ギャップは学生に過小評価される。 このギャップは、各デノナイジングステップで増幅され、両方のブランチが同一の予測に向かって崩壊する退化解を認め、出力レベルのトレーニング損失が低いにもかかわらず、ガイダンスを無効にする。 DASHは,各トレーニングサンプルの目標分岐出力を独立な分岐制約により一意に指定し,条件付き予測を地中交通騒音に対して正規化する,二重分岐蒸留フレームワークである。 このフレームワークはさらにTIRT Transferを導入し、教師の時間単位の重要カリキュラムを学生に冷凍前科としてコピーし、限られた蒸留予算で再学習する必要をなくした。 CIFAR-10とCIFAR-100の実験では、50ステップのDDIMサンプリングにおいて5.9倍圧縮が教師の4FIDポイント以内の品質を維持しており、指導忠実度を良好に保ち、スクラッチからかなり優れたトレーニングを達成している。 アブレーション研究は、無条件の監督が主要な貢献であり、全蒸留量の60%以上を占めていることを確認している。 カリキュラムの転送とアンカーの正規化は相補的な利点をもたらし、二重ブランチの制約をガイダンス保存圧縮に実証的に不可欠なものとして検証する。

関連論文リスト

• Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
  オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。 本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。 本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-08T05:46:32Z)
• Towards Compact Unified Multimodal Tracking: Synergizing Knowledge Distillation with Structural Pruning [80.73561460934809]
  多モード物体追跡は 相補的なセンサーデータを活用することで 目覚ましい堅牢性を達成した 我々は予測ヘッドを重要ではあるが、しばしば見過ごされる効率ボトルネックとみなしている。 デコーダアーキテクチャを戦略的に合理化することで、リアルタイム推論の可能性を解き放ちます。
  論文  参考訳（メタデータ） (2026-08-02T20:41:33Z)
• Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion [0.0]
  2パスのCFG実行パターンは、パラメータカウントとビット操作のメトリクスが完全に隠蔽する遅延オーバーヘッドを課します。 誘導予測に基づいて直接校正を行う誘導認識混合精度(GAMP)を提案する。
  論文  参考訳（メタデータ） (2026-07-09T08:42:07Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Improving Certified Robustness via Adversarial Distillation [2.969291853301593]
  対側蒸留法とIPP上界を併用した認定トレーニング目標であるAD-CERTを導入する。 我々は,AD-CERTがいくつかのベンチマークで最先端の認定性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-06-30T13:31:35Z)
• Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets [51.490743278360064]
  本稿では,ノイズを共同で抑制し,伝達可能な知識を残さずに保持するトラジェクトリベースのDDフレームワークを提案する。 SGR(Selective Guidance Reweighting)とTIAT(Teacher-Inspireed Auxiliary Targets)の2つの補完的なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2026-06-29T06:24:53Z)
• CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning [4.663685189987781]
  自己蒸留剤強化学習は、トークンレベルの蒸留損失で軌跡レベルの報酬を増大させる。 一般的なレシピでは、この損失を1つのスカラー、すなわち教師と学生の対数確率のギャップで埋める。 CRAFTは2つの制限に対処する3ピラー・クレジット・アサインメント方式である。
  論文  参考訳（メタデータ） (2026-06-28T16:11:47Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• GateKD: Confidence-Gated Closed-Loop Distillation for Robust Reasoning [0.0]
  本稿では,信頼度の高いクローズドループ推論フレームワークであるGateKDを提案する。 GateKDは教師を静的なオラクルではなく、動的なゲートキーパーとして扱う。 GateKD は高い開ループ蒸留ベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-05-13T08:04:46Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe [53.40076304466524]
  LLM(Large Language Models)とMLLM(Multimodal Large Language Models)をまたいで一般化する統一OPDフレームワークであるUni-OPDを提案する。 具体的には、学生の立場から、学習中の情報発信状態の探索を促進するために、2つのデータバランス戦略を採用する。 我々は,正しい軌道と間違った軌道の順序の整合性を取り戻すために,結果誘導マージンキャリブレーション機構を開発した。
  論文  参考訳（メタデータ） (2026-05-05T12:15:21Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• PACED: Distillation and Self-Distillation at the Frontier of Student Competence [17.384089089363382]
  Pacedは、近縁開発ゾーンに蒸留を集中させるフレームワークである。 逆KLを持つ命令調整モデルでは、ゲインはベースラインを超える。 フォワードKL-then-reverse-KLスケジュールは、我々の設定において最強の結果をもたらす。
  論文  参考訳（メタデータ） (2026-03-11T18:00:05Z)
• REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
  本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。 レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。 CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-02-04T15:50:53Z)
• Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning [48.041170200238206]
  DASD-4B-Thinkingは軽量で高機能で完全なオープンソース推論モデルである。 これは、数学、科学的推論、コード生成の挑戦的なベンチマークにおいて、同等規模のオープンソースのモデル間でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2026-01-14T02:43:17Z)
• ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
  大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。 既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。 ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-08T01:40:40Z)
• Unilaterally Aggregated Contrastive Learning with Hierarchical Augmentation for Anomaly Detection [64.50126371767476]
  階層的拡張(UniCon-HA)を用いた一方的集約型コントラスト学習を提案する。 我々は、教師付きおよび教師なしの対照的な損失を通じて、インレーヤの濃度と仮想外れ値の分散を明示的に奨励する。 本手法は,ラベルなし1クラス,ラベルなしマルチクラス,ラベル付きマルチクラスを含む3つのAD設定で評価される。
  論文  参考訳（メタデータ） (2023-08-20T04:01:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。