論文の概要: Bezier Distillation

• arxiv url: http://arxiv.org/abs/2503.16562v1
• Date: Thu, 20 Mar 2025 06:48:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:56:10.021615
• Title: Bezier Distillation
• Title（参考訳）: Bezier 蒸留
• Authors: Ling Feng, SK Yang,
• Abstract要約: 整流流では、整流流を数回取得することにより、分布間のマッピング関係をニューラルネットワークに蒸留することができる。 複数教師の知識蒸留をベジエ曲線と組み合わせて誤り蓄積の問題を解決する。
• 参考スコア（独自算出の注目度）: 5.432285843497807
• License:
• Abstract: In Rectified Flow, by obtaining the rectified flow several times, the mapping relationship between distributions can be distilled into a neural network, and the target distribution can be directly predicted by the straight lines of the flow. However, during the pairing process of the mapping relationship, a large amount of error accumulation will occur, resulting in a decrease in performance after multiple rectifications. In the field of flow models, knowledge distillation of multi - teacher diffusion models is also a problem worthy of discussion in accelerating sampling. I intend to combine multi - teacher knowledge distillation with Bezier curves to solve the problem of error accumulation. Currently, the related paper is being written by myself.
• Abstract（参考訳）: 整流流では、整流流を複数回取得することにより、分布間のマッピング関係をニューラルネットワークに蒸留することができ、ターゲット分布を流れの直線で直接予測することができる。 しかし、マッピング関係のペアリング過程において、大量のエラー蓄積が発生し、複数の修正後に性能が低下する。 フローモデルの分野では,多教師拡散モデルの知識蒸留も,サンプリングの高速化に相応しい問題である。 複数教師の知識蒸留をベジエ曲線と組み合わせて誤り蓄積の問題を解決する。 現在、関連論文は自分で執筆中です。

関連論文リスト

• Variational Rectified Flow Matching [100.63726791602049]
  多モード速度ベクトル場をモデル化して古典的整流流マッチングを改良する。 変動補正フローマッチングが有意な結果をもたらす合成データについて述べる。
  論文  参考訳（メタデータ） (2025-02-13T18:59:15Z)
• DDIL: Improved Diffusion Distillation With Imitation Learning [57.3467234269487]
  拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。 プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。 DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
  論文  参考訳（メタデータ） (2024-10-15T18:21:47Z)
• Accelerating Diffusion Models with One-to-Many Knowledge Distillation [35.130782477699704]
  我々は,1つの教師拡散モデルを複数の学生拡散モデルに蒸留する1対多の知識蒸留(O2MKD)を導入する。 CIFAR10, LSUN Church, CelebA-HQ with DDPM and COCO30K with Stable Diffusion 実験の結果, O2MKD は従来の知識蒸留法や高速サンプリング法にも適用可能であることが示された。
  論文  参考訳（メタデータ） (2024-10-05T15:10:04Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Mixed Variational Flows for Discrete Variables [14.00384446902181]
  連続的な埋め込みを伴わない離散分布のための変動流ファミリを開発した。 まず、測度保存および離散可逆写像(MAD)を開発し、離散的対象不変性を残した。 また、連立離散モデルおよび連続モデルを扱うMAD Mixの拡張も開発した。
  論文  参考訳（メタデータ） (2023-08-29T20:13:37Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。