論文の概要: Phase-aware Training Schedule Simplifies Learning in Flow-Based Generative Models

• arxiv url: http://arxiv.org/abs/2412.07972v2
• Date: Mon, 16 Dec 2024 06:12:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:27.801368
• Title: Phase-aware Training Schedule Simplifies Learning in Flow-Based Generative Models
• Title（参考訳）: 位相対応学習スケジュールはフローベース生成モデルにおける学習を簡単にする
• Authors: Santiago Aranguri, Francesco Insulla,
• Abstract要約: 本研究では,フローベース生成モデルのパラメータ化に用いる2層オートエンコーダのトレーニングを分析する。 速度場を表すオートエンコーダは,各位相に関係するパラメータのみを推定することにより,簡易化を図る。
• 参考スコア（独自算出の注目度）: 0.1534667887016089
• License:
• Abstract: We analyze the training of a two-layer autoencoder used to parameterize a flow-based generative model for sampling from a high-dimensional Gaussian mixture. Previous work shows that the phase where the relative probability between the modes is learned disappears as the dimension goes to infinity without an appropriate time schedule. We introduce a time dilation that solves this problem. This enables us to characterize the learned velocity field, finding a first phase where the probability of each mode is learned and a second phase where the variance of each mode is learned. We find that the autoencoder representing the velocity field learns to simplify by estimating only the parameters relevant to each phase. Turning to real data, we propose a method that, for a given feature, finds intervals of time where training improves accuracy the most on that feature. Since practitioners take a uniform distribution over training times, our method enables more efficient training. We provide preliminary experiments validating this approach.
• Abstract（参考訳）: 本研究では,高次元ガウス混合系から抽出するフローベース生成モデルのパラメータ化に用いる2層オートエンコーダのトレーニングを分析する。 これまでの研究は、モード間の相対確率が学習される位相は、適切な時間スケジュールなしで次元が無限に近づくにつれて消失することを示している。 この問題を解決するための時間拡張を導入します。 これにより、各モードの確率が学習される第1フェーズと、各モードのばらつきが学習される第2フェーズとを、学習速度場を特徴付けることができる。 速度場を表すオートエンコーダは,各位相に関係するパラメータのみを推定することにより,簡易化を図る。 実データに変換することで、与えられた特徴に対して、その特徴に対して最も精度が向上する時間間隔を求める手法を提案する。 実践者はトレーニング時間に一様分布をとるので,より効率的なトレーニングが可能となる。 本手法を検証した予備実験を行う。

関連論文リスト

• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
  本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。 予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-07-02T16:15:37Z)
• Improving Consistency Models with Generator-Induced Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,現在訓練されているモデルから得られた雑音データを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• Flow Map Matching [15.520853806024943]
  フローマップマッチングは、基礎となる常微分方程式の2時間フローマップを学習するアルゴリズムである。 フローマップマッチングは, 拡散法や補間法と比較して, サンプリングコストを大幅に削減した高品質なサンプルとなることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:41:26Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• Accelerated Probabilistic Marching Cubes by Deep Learning for Time-Varying Scalar Ensembles [5.102811033640284]
  本稿では,2次元アンサンブルデータのレベルセット不確実性を学習するためのディープラーニングに基づくアプローチを提案する。 ワークフロー内の時間変化のアンサンブルデータから、最初の数ステップを使用してモデルをトレーニングします。 トレーニングされたモデルでは,新しい時間ステップのレベルセットの不確かさを正確に推測し,元の確率モデルよりも最大170倍高速であることを示す。
  論文  参考訳（メタデータ） (2022-07-15T02:35:41Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。