論文の概要: Stable Continuous-Time Consistency Distillation: An Empirical Study with a Multistep Extension

• arxiv url: http://arxiv.org/abs/2610.34704v1
• Date: Mon, 26 Oct 2026 01:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.676414
• Title: Stable Continuous-Time Consistency Distillation: An Empirical Study with a Multistep Extension
• Title（参考訳）: 安定持続時間連続蒸留-多段階拡張による実証研究-
• Abstract要約: 継続的一貫性モデルは、数ステップ生成にとって魅力的な方法です。 離散時間一貫性モデルが依存するタイムステップグリッド固有の離散化エラーを取り除く。 sCDの連続時間・セグメント条件付き多段階一般化であるMultistep sCD(MS-sCD)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous-time consistency models are an attractive route to few-step generation. They remove the discretization error inherent to the timestep grid that discrete-time consistency models depend on. Until recently, however, training them was unstable. Lu & Song (2025) address this with the TrigFlow formulation and a coordinated set of architectural and training-objective changes. We conduct an independent empirical study of this framework on CIFAR-10 and ImageNet-64. No open-weight TrigFlow teachers exist at these scales, so we train them from scratch and then verify the consistency distillation (sCD) and consistency training (sCT) behavior of students initialized from these teachers. On CIFAR-10, our students reproduce the reported FID at one and two steps. On ImageNet-64, they fall short, a gap that appears related to our teacher and to architectural choices the paper leaves unspecified. We also report a parameter-count gap of about 5% between the model size stated in the paper and a faithful re-implementation, which we attribute to the scale-and-shift conditioning projections in Adaptive Double Normalization. We then propose Multistep sCD (MS-sCD), a continuous-time, segment-conditioned multistep generalization of sCD. The segment-conditioning idea is borrowed from the discrete-time multistep consistency distillation of Heek et al. (2024); we build on their preliminary continuous-time experiments within the TrigFlow/sCM framework. The rest of the algorithm follows sCD. MS-sCD replaces sCM's two-step intermediate time with a fixed segment-boundary schedule and recovers sCD at M = 1. We report FID at M = 2, 4, 8 and compare against the discrete-time MSCD baseline. Code, model weights, and training scripts are available on GitHub (Mathew et al., 2026).
• Abstract（参考訳）: 継続的一貫性モデルは、数ステップ生成にとって魅力的な方法です。 離散時間一貫性モデルが依存するタイムステップグリッド固有の離散化エラーを取り除く。 しかし、最近まで訓練は不安定であった。 Lu & Song (2025)は、TrigFlowの定式化と、アーキテクチャおよびトレーニング対象の変更の協調セットでこの問題に対処している。 我々は,CIFAR-10 と ImageNet-64 上で,このフレームワークの独立実験を行った。 オープンウェイトなTrigFlow教師は存在しないので、スクラッチからトレーニングし、これらの教師から初期化された学生の一貫性蒸留(sCD)と一貫性訓練(sCT)の振る舞いを検証する。 CIFAR-10では,報告されたFIDを1段階と2段階で再現した。 ImageNet-64では、教師とアーキテクチャ上の選択に関係しているように見えるギャップが不足している。 また,本論文に記載されているモデルサイズと忠実な再実装との間には,パラメータ数ギャップが約5%あり,これは適応的二重正規化におけるスケール・アンド・シフト条件付き予測によるものである。 次に、連続時間、セグメント条件付きマルチステップ一般化であるMultistep sCD(MS-sCD)を提案する。 セグメントコンディショニングのアイデアは、Heek et al (2024) の離散時間多段階連続蒸留から借用され、TrigFlow/sCMフレームワーク内での予備的な連続時間実験に基づいて構築される。 残りのアルゴリズムはsCDに従う。 MS-sCDは、sCMの2段階の中間時間を固定されたセグメント境界スケジュールで置き換え、M = 1でsCDを回復する。 M = 2, 4, 8でFIDを報告し, 離散時間MSCDベースラインと比較した。 コード、モデルウェイト、トレーニングスクリプトはGitHubで入手できる(Mathew et al , 2026)。

関連論文リスト

• Consistent Distribution Matching for Data-Free Diffusion Distillation [18.48246013523614]
  フローモデルと拡散モデルは計算コストのかかる数値積分によって推論が遅くなる。 本研究では,拡散・流動モデルの高速化を目的としたシミュレーションフリーでデータフリーな蒸留法を提案する。 私たちのフレームワークでは、凍結した教師とトレーニング可能な学生の2つのモデルしか使用していません。
  論文  参考訳（メタデータ） (2026-10-06T23:34:13Z)
• Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification [10.122947222129108]
  DINOv2のような自己監督型ビジョンファウンデーションモデルは強力な機能を提供するが、フィールド展開には大きすぎる。 微調整DINOv2教師からコンパクトな双方向視覚空間モデルへのクロスアーキテクチャ知識の蒸留について検討した。 我々は,SSM学生が限られたデータで学習することを防ぐ2つのトレーニング安定問題を同定し,修正する。
  論文  参考訳（メタデータ） (2026-08-27T08:02:05Z)
• Latent-Kernel Discrete Flow Maps for Few-Step Generation [4.159429302112398]
  我々は,M因子化成分を1つの潜伏子で結合したフローマップカーネルを構築する。 1つのステップが、因数分解モデルと同じサンプリング時間複雑度で相関完備化に質量を置くことを示す。 One-Billion-Word (LM1B) とWikiText-103ベンチマークを用いた無条件テキスト生成実験により,LKFモデルが強ヘテロジニアス成分を学習していることが判明した。
  論文  参考訳（メタデータ） (2026-07-29T23:46:31Z)
• Continuous-Time Distribution Matching for Few-Step Diffusion Distillation [57.28746398500951]
  本稿では,CDM(Continuous-Time Distribution Matching)を導入し,DMDフレームワークを個別アンカーから連続最適化へ移行する。 まず、固定離散スケジュールをランダム長の動的連続スケジュールに置き換える。 第二に、学生の速度場を介して外挿された潜伏者に対してアクティブな軌道外マッチングを行う連続時間アライメント目的を提案する。
  論文  参考訳（メタデータ） (2026-05-07T14:56:39Z)
• See Further When Clear: Curriculum Consistency Model [20.604239652914355]
  本稿では,時間ステップ間で学習の複雑さを安定させ,バランスをとるCCMを提案する。 具体的には,各時期の蒸留工程をカリキュラムとみなし,学習の複雑さを定量化するためのピーク信号対雑音比(PSNR)に基づくメトリクスを導入する。 CIFAR-10ではFr't Inception Distance(FID)スコアが1.64、ImageNet 64x64では2.18である。
  論文  参考訳（メタデータ） (2024-12-09T08:39:01Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。