論文の概要: Successfully Applying Lottery Ticket Hypothesis to Diffusion Model

• arxiv url: http://arxiv.org/abs/2310.18823v1
• Date: Sat, 28 Oct 2023 21:09:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 16:18:52.825406
• Title: Successfully Applying Lottery Ticket Hypothesis to Diffusion Model
• Title（参考訳）: 拡散モデルへのロッキーチケット仮説の適用
• Authors: Chao Jiang, Bo Hui, Bohan Liu, Da Yan
• Abstract要約: Lottery Ticket仮説は、独立してトレーニングされた場合、元の高密度ニューラルネットワークと競合するパフォーマンスを達成するための勝利チケットが存在すると主張している。 ベンチマーク上で拡散確率モデルをデノベートするための性能を損なうことなく、スパーシティの90%～99%でワークスを実証的に発見する。 本手法では,ストレージの少ないスペーサーサブモデルを見つけることができ,FLOPの数を削減できる。
• 参考スコア（独自算出の注目度）: 15.910383121581065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of diffusion models, the training and inference of diffusion models are notoriously expensive due to the long chain of the reverse process. In parallel, the Lottery Ticket Hypothesis (LTH) claims that there exists winning tickets (i.e., aproperly pruned sub-network together with original weight initialization) that can achieve performance competitive to the original dense neural network when trained in isolation. In this work, we for the first time apply LTH to diffusion models. We empirically find subnetworks at sparsity 90%-99% without compromising performance for denoising diffusion probabilistic models on benchmarks (CIFAR-10, CIFAR-100, MNIST). Moreover, existing LTH works identify the subnetworks with a unified sparsity along different layers. We observe that the similarity between two winning tickets of a model varies from block to block. Specifically, the upstream layers from two winning tickets for a model tend to be more similar than the downstream layers. Therefore, we propose to find the winning ticket with varying sparsity along different layers in the model. Experimental results demonstrate that our method can find sparser sub-models that require less memory for storage and reduce the necessary number of FLOPs. Codes are available at https://github.com/osier0524/Lottery-Ticket-to-DDPM.
• Abstract（参考訳）: 拡散モデルの成功にもかかわらず、拡散モデルのトレーニングと推論は、逆過程の長い連鎖のために非常に高価である。 並行して、Lottery Ticket hypothesis (LTH) は、単独で訓練された場合、元の高密度ニューラルネットワークと競合する性能を達成できる、勝利チケット(すなわち、元の重み初期化と共に適切に切断されたサブネットワーク)が存在すると主張している。 本研究では、拡散モデルにLTHを初めて適用する。 実験では, 拡散確率モデル(cifar-10, cifar-100, mnist)の性能を損なうことなく, 90%-99%のsparsityのサブネットワークを見出した。 さらに、既存のLTHワークは、異なるレイヤに沿って統一された間隔でサブネットワークを識別する。 モデルの2つの当選チケットの類似性はブロックごとに異なる。 具体的には、モデルの2つの入賞チケットからの上流層は、下流層よりもよく似ています。 そこで本研究では,モデルの異なる層に沿って異なる間隔で当選券を求める。 実験により,記憶容量の少ないスペーサーサブモデルとFLOP数の削減が可能であることが確認された。 コードはhttps://github.com/osier0524/lottery-ticket-to-ddpmで入手できる。

関連論文リスト

• The EarlyBird Gets the WORM: Heuristically Accelerating EarlyBird Convergence [0.0]
  Early Bird仮説は、畳み込みニューラルネットワークで当選した宝くじを見つけるための効率的なアルゴリズムを提案する。 WORMは, 静的群を利用して勾配を計算し, モデルが他のニューロンに頼らざるを得ない手法である。 実験の結果、WORMはより高速なチケット識別トレーニングを実現し、計算オーバーヘッドの増大にもかかわらずFLOPを少なくすることがわかった。
  論文  参考訳（メタデータ） (2024-05-31T05:13:02Z)
• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• LOFT: Finding Lottery Tickets through Filter-wise Training [15.06694204377327]
  本稿では,このようなチケットの出現を効果的に識別し,この観測結果を用いて,効率的な事前学習アルゴリズムの設計を行う方法を示す。 We present the emphLOttery ticket through filter-wise Training algorithm, called textscLoFT。 textscLoFT $i)$は保存され、良い宝くじを見つける。
  論文  参考訳（メタデータ） (2022-10-28T14:43:42Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Winning Lottery Tickets in Deep Generative Models [64.79920299421255]
  本稿では,GANやVAEなどの深層生成モデルにおいて,入賞チケットの存在を示す。 また、異なる生成モデル間での当選チケットの転送可能性を示す。
  論文  参考訳（メタデータ） (2020-10-05T21:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。