論文の概要: ScoreFusion: fusing score-based generative models via Kullback-Leibler barycenters

• arxiv url: http://arxiv.org/abs/2406.19619v1
• Date: Fri, 28 Jun 2024 03:02:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 18:00:20.152508
• Title: ScoreFusion: fusing score-based generative models via Kullback-Leibler barycenters
• Title（参考訳）: ScoreFusion:Kullback-Leiblerのバリセンターを経由したスコアベース生成モデル
• Authors: Hao Liu, Junze, Ye, Jose Blanchet, Nian Si,
• Abstract要約: 本研究では, 対象生成モデルの訓練を強化するために, 事前学習(補助的)生成モデルを融合する問題について検討する。 そこで本研究では, KL分散重心を最適核融合機構として用いて, 対象個体に対する適切な損失を最小限に抑えるために, バリ中心重心を最適に訓練する手法を提案する。
• 参考スコア（独自算出の注目度）: 7.540470683230283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of fusing pre-trained (auxiliary) generative models to enhance the training of a target generative model. We propose using KL-divergence weighted barycenters as an optimal fusion mechanism, in which the barycenter weights are optimally trained to minimize a suitable loss for the target population. While computing the optimal KL-barycenter weights can be challenging, we demonstrate that this process can be efficiently executed using diffusion score training when the auxiliary generative models are also trained based on diffusion score methods. Moreover, we show that our fusion method has a dimension-free sample complexity in total variation distance provided that the auxiliary models are well fitted for their own task and the auxiliary tasks combined capture the target well. The main takeaway of our method is that if the auxiliary models are well-trained and can borrow features from each other that are present in the target, our fusion method significantly improves the training of generative models. We provide a concise computational implementation of the fusion algorithm, and validate its efficiency in the low-data regime with numerical experiments involving mixtures models and image datasets.
• Abstract（参考訳）: 本研究では, 対象生成モデルの訓練を強化するために, 事前学習された(補助的な)生成モデルを融合する問題について検討する。 そこで本研究では, KL分散重心を最適核融合機構として用いて, 対象個体に対する適切な損失を最小限に抑えるために, バリ中心重心を最適に訓練する手法を提案する。 最適なKL-barycenter重み付けの計算は困難であるが,このプロセスは拡散スコア法に基づいて補助生成モデルもトレーニングした場合に,拡散スコアトレーニングを用いて効率的に実行可能であることを示す。 さらに, 本手法は, 補助モデルがそれぞれのタスクによく適合し, 組み合わせたタスクが目標をうまく捉えている場合, 総変量距離において, 無次元のサンプル複雑性を有することを示す。 本手法の主な特徴は, 補助モデルが十分に訓練されており, 対象モデルに存在する特徴を相互に借りることができれば, 融合法は生成モデルの訓練を著しく改善するということである。 混合モデルと画像データセットを含む数値実験により、融合アルゴリズムの簡潔な計算実装を行い、その効率を低データ方式で検証する。

関連論文リスト

• Improving Consistency Models with Generator-Induced Coupling [14.939615590071917]
  本研究では,入力ノイズデータを一貫性モデル自体から生成した出力に関連付ける新しい結合手法を提案する。 当社の安価なアプローチでは,一貫性モデル固有の能力を活用して,単一のステップでトランスポートマップを計算しています。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• WASH: Train your Ensemble with Communication-Efficient Weight Shuffling, then Average [21.029085451757368]
  ウェイト平均化手法は、アンサンブルの一般化と単一モデルの推論速度のバランスをとることを目的としている。 WASHは,最新の画像分類精度を実現するために,平均化のためのモデルアンサンブルを学習するための新しい分散手法である。
  論文  参考訳（メタデータ） (2024-05-27T09:02:57Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Robust and Efficient Aggregation for Distributed Learning [37.203175053625245]
  平均化に基づく分散学習スキームは、外れ値に影響を受けやすいことが知られている。 単一の悪意のあるエージェントは、平均的な分散学習アルゴリズムを任意に貧弱なモデルに駆動することができる。 これは、中央値とトリミング平均の変動に基づくロバストアグリゲーションスキームの発展を動機付けている。
  論文  参考訳（メタデータ） (2022-04-01T17:17:41Z)
• Merging Models with Fisher-Weighted Averaging [24.698591753644077]
  我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。 提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。 マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-18T17:59:35Z)
• Learning High-Dimensional Distributions with Latent Neural Fokker-Planck Kernels [67.81799703916563]
  低次元潜在空間におけるフォッカー・プランク方程式の解法として問題を定式化する新しい手法を導入する。 提案モデルでは,潜在分散モーフィング,ジェネレータ,パラメータ化Fokker-Planckカーネル関数からなる。
  論文  参考訳（メタデータ） (2021-05-10T17:42:01Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。