論文の概要: Neural Network Diffusion

• arxiv url: http://arxiv.org/abs/2402.13144v1
• Date: Tue, 20 Feb 2024 16:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 14:16:11.465575
• Title: Neural Network Diffusion
• Title（参考訳）: ニューラルネットワークの拡散
• Authors: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, and Yang You
• Abstract要約: 拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。 本研究は拡散モデルにも適用可能であることを示す。 高性能なニューラルネットワークパラメータを生成する。
• 参考スコア（独自算出の注目度）: 50.85251415173792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have achieved remarkable success in image and video generation. In this work, we demonstrate that diffusion models can also \textit{generate high-performing neural network parameters}. Our approach is simple, utilizing an autoencoder and a standard latent diffusion model. The autoencoder extracts latent representations of a subset of the trained network parameters. A diffusion model is then trained to synthesize these latent parameter representations from random noise. It then generates new representations that are passed through the autoencoder's decoder, whose outputs are ready to use as new subsets of network parameters. Across various architectures and datasets, our diffusion process consistently generates models of comparable or improved performance over trained networks, with minimal additional cost. Notably, we empirically find that the generated models perform differently with the trained networks. Our results encourage more exploration on the versatile use of diffusion models.
• Abstract（参考訳）: 拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。 本研究では,拡散モデルが高パフォーマンスニューラルネットワークパラメータを生成できることを示す。 我々のアプローチは単純で、オートエンコーダと標準潜在拡散モデルを利用する。 オートエンコーダは、トレーニングされたネットワークパラメータのサブセットの潜在表現を抽出する。 拡散モデルは、ランダムノイズからこれらの潜在パラメータ表現を合成するために訓練される。 その後、autoencoderのデコーダに渡される新しい表現を生成し、その出力はネットワークパラメータの新たなサブセットとして使用する準備ができています。 さまざまなアーキテクチャやデータセットにまたがって、当社の拡散プロセスは、トレーニングされたネットワーク上で同等あるいは改善されたパフォーマンスのモデルを、最小限の追加コストで一貫して生成します。 特に私たちは、生成されたモデルがトレーニングされたネットワークと異なるパフォーマンスを持つことを経験的に発見します。 この結果は拡散モデルの多元性利用に関するさらなる探索を奨励するものである。

関連論文リスト

• Neural Residual Diffusion Models for Deep Scalable Vision Generation [17.931568104324985]
  我々は,統一的かつ大規模に拡張可能なニューラルネットワーク残差拡散モデルフレームワーク(Neural-RDM)を提案する。 提案したニューラル残差モデルは、画像およびビデオ生成ベンチマークの最先端スコアを取得する。
  論文  参考訳（メタデータ） (2024-06-19T04:57:18Z)
• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• SODA: Bottleneck Diffusion Models for Representation Learning [75.7331354734152]
  本稿では,表現学習のための自己教師付き拡散モデルSODAを紹介する。 このモデルには、ソースビューをコンパクトな表現に蒸留するイメージエンコーダが組み込まれており、関連する新規ビューの生成を導く。 エンコーダと復調復調復調復調復調復調復調復調復号器の密集ボトルネックを付与することにより,拡散モデルを強力な表現学習器に変換することができることを示す。
  論文  参考訳（メタデータ） (2023-11-29T18:53:34Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• Echo State Speech Recognition [10.084532635965513]
  エコー状態ネットワーク(ESN)を用いた自動音声認識モデルの提案 モデル品質はデコーダが完全にランダム化されても低下しないことを示す。 このようなモデルは、デコーダを更新する必要がないため、より効率的にトレーニングできます。
  論文  参考訳（メタデータ） (2021-02-18T02:04:14Z)
• From Boltzmann Machines to Neural Networks and Back Again [31.613544605376624]
  制限ボルツマンマシン(Restricted Boltzmann Machines)は、おそらく最もよく研究されている潜在変数モデルのクラスである。 我々の結果は、$ell_infty$bounded inputの下で二層ニューラルネットワークを学習するための新しい接続に基づいている。 次に,分散仮定を使わずに,関連するネットワークのクラスに対して可能なものよりも,より優れたランタイムで教師付きRAMの自然なクラスを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:42:50Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。