論文の概要: Neural Network Diffusion

• arxiv url: http://arxiv.org/abs/2402.13144v3
• Date: Mon, 30 Dec 2024 19:13:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 17:39:09.391214
• Title: Neural Network Diffusion
• Title（参考訳）: ニューラルネットワーク拡散
• Authors: Kai Wang, Dongwen Tang, Boya Zeng, Yida Yin, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, Yang You,
• Abstract要約: 拡散モデルはランダムノイズから潜在表現を合成するために訓練される。 このモデルは次に新しい表現を生成し、オートエンコーダのデコーダを通過してハイパフォーマンスなネットワークパラメータの新しいサブセットを生成する。
• 参考スコア（独自算出の注目度）: 45.851945143942885
• License:
• Abstract: Diffusion models have achieved remarkable success in image and video generation. In this work, we demonstrate that diffusion models can also \textit{generate high-performing neural network parameters}. Our approach is simple, utilizing an autoencoder and a diffusion model. The autoencoder extracts latent representations of a subset of the trained neural network parameters. Next, a diffusion model is trained to synthesize these latent representations from random noise. This model then generates new representations, which are passed through the autoencoder's decoder to produce new subsets of high-performing network parameters. Across various architectures and datasets, our approach consistently generates models with comparable or improved performance over trained networks, with minimal additional cost. Notably, we empirically find that the generated models are not memorizing the trained ones. Our results encourage more exploration into the versatile use of diffusion models. Our code is available \href{https://github.com/NUS-HPC-AI-Lab/Neural-Network-Diffusion}{here}.
• Abstract（参考訳）: 拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。 本研究は,拡散モデルが高パフォーマンスニューラルネットワークパラメータのtextit{generate \textit{generate high-performing Neural Network parameters} にも適用可能であることを示す。 我々のアプローチは単純で、オートエンコーダと拡散モデルを利用する。 オートエンコーダは、トレーニングされたニューラルネットワークパラメータのサブセットの潜在表現を抽出する。 次に、拡散モデルをトレーニングし、これらの潜在表現をランダムノイズから合成する。 このモデルは次に新しい表現を生成し、オートエンコーダのデコーダを通過してハイパフォーマンスなネットワークパラメータの新しいサブセットを生成する。 さまざまなアーキテクチャやデータセットにまたがって、当社のアプローチは、トレーニングされたネットワーク上での同等あるいは改善されたパフォーマンスを持つモデルを、最小限のコストで、一貫して生成します。 特に、私たちは、生成されたモデルがトレーニングされたモデルを記憶していないことを経験的に発見します。 この結果から,拡散モデルの多目的利用の探求が促進される。 私たちのコードは href{https://github.com/NUS-HPC-AI-Lab/Neural-Network-Diffusion}{here} で利用可能です。

関連論文リスト

• Neural Residual Diffusion Models for Deep Scalable Vision Generation [17.931568104324985]
  我々は,統一的かつ大規模に拡張可能なニューラルネットワーク残差拡散モデルフレームワーク(Neural-RDM)を提案する。 提案したニューラル残差モデルは、画像およびビデオ生成ベンチマークの最先端スコアを取得する。
  論文  参考訳（メタデータ） (2024-06-19T04:57:18Z)
• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• SODA: Bottleneck Diffusion Models for Representation Learning [75.7331354734152]
  本稿では,表現学習のための自己教師付き拡散モデルSODAを紹介する。 このモデルには、ソースビューをコンパクトな表現に蒸留するイメージエンコーダが組み込まれており、関連する新規ビューの生成を導く。 エンコーダと復調復調復調復調復調復調復調復調復号器の密集ボトルネックを付与することにより,拡散モデルを強力な表現学習器に変換することができることを示す。
  論文  参考訳（メタデータ） (2023-11-29T18:53:34Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• Echo State Speech Recognition [10.084532635965513]
  エコー状態ネットワーク(ESN)を用いた自動音声認識モデルの提案 モデル品質はデコーダが完全にランダム化されても低下しないことを示す。 このようなモデルは、デコーダを更新する必要がないため、より効率的にトレーニングできます。
  論文  参考訳（メタデータ） (2021-02-18T02:04:14Z)
• From Boltzmann Machines to Neural Networks and Back Again [31.613544605376624]
  制限ボルツマンマシン(Restricted Boltzmann Machines)は、おそらく最もよく研究されている潜在変数モデルのクラスである。 我々の結果は、$ell_infty$bounded inputの下で二層ニューラルネットワークを学習するための新しい接続に基づいている。 次に,分散仮定を使わずに,関連するネットワークのクラスに対して可能なものよりも,より優れたランタイムで教師付きRAMの自然なクラスを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:42:50Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。