論文の概要: Neural Network Diffusion

• arxiv url: http://arxiv.org/abs/2402.13144v1
• Date: Tue, 20 Feb 2024 16:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 14:16:11.465575
• Title: Neural Network Diffusion
• Title（参考訳）: ニューラルネットワークの拡散
• Authors: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, and Yang You
• Abstract要約: 拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。 本研究は拡散モデルにも適用可能であることを示す。 高性能なニューラルネットワークパラメータを生成する。
• 参考スコア（独自算出の注目度）: 50.85251415173792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have achieved remarkable success in image and video generation. In this work, we demonstrate that diffusion models can also \textit{generate high-performing neural network parameters}. Our approach is simple, utilizing an autoencoder and a standard latent diffusion model. The autoencoder extracts latent representations of a subset of the trained network parameters. A diffusion model is then trained to synthesize these latent parameter representations from random noise. It then generates new representations that are passed through the autoencoder's decoder, whose outputs are ready to use as new subsets of network parameters. Across various architectures and datasets, our diffusion process consistently generates models of comparable or improved performance over trained networks, with minimal additional cost. Notably, we empirically find that the generated models perform differently with the trained networks. Our results encourage more exploration on the versatile use of diffusion models.
• Abstract（参考訳）: 拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。 本研究では,拡散モデルが高パフォーマンスニューラルネットワークパラメータを生成できることを示す。 我々のアプローチは単純で、オートエンコーダと標準潜在拡散モデルを利用する。 オートエンコーダは、トレーニングされたネットワークパラメータのサブセットの潜在表現を抽出する。 拡散モデルは、ランダムノイズからこれらの潜在パラメータ表現を合成するために訓練される。 その後、autoencoderのデコーダに渡される新しい表現を生成し、その出力はネットワークパラメータの新たなサブセットとして使用する準備ができています。 さまざまなアーキテクチャやデータセットにまたがって、当社の拡散プロセスは、トレーニングされたネットワーク上で同等あるいは改善されたパフォーマンスのモデルを、最小限の追加コストで一貫して生成します。 特に私たちは、生成されたモデルがトレーニングされたネットワークと異なるパフォーマンスを持つことを経験的に発見します。 この結果は拡散モデルの多元性利用に関するさらなる探索を奨励するものである。

関連論文リスト

• Neural Residual Diffusion Models for Deep Scalable Vision Generation [17.931568104324985]
  我々は,統一的かつ大規模に拡張可能なニューラルネットワーク残差拡散モデルフレームワーク(Neural-RDM)を提案する。 提案したニューラル残差モデルは、画像およびビデオ生成ベンチマークの最先端スコアを取得する。
  論文  参考訳（メタデータ） (2024-06-19T04:57:18Z)
• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• SODA: Bottleneck Diffusion Models for Representation Learning [75.7331354734152]
  本稿では,表現学習のための自己教師付き拡散モデルSODAを紹介する。 このモデルには、ソースビューをコンパクトな表現に蒸留するイメージエンコーダが組み込まれており、関連する新規ビューの生成を導く。 エンコーダと復調復調復調復調復調復調復調復調復号器の密集ボトルネックを付与することにより,拡散モデルを強力な表現学習器に変換することができることを示す。
  論文  参考訳（メタデータ） (2023-11-29T18:53:34Z)
• Generative Neural Fields by Mixtures of Neural Implicit Functions [43.27461391283186]
  本稿では,暗黙的ベースネットワークの線形結合によって表現される生成的ニューラルネットワークを学習するための新しいアプローチを提案する。 提案アルゴリズムは,メタラーニングや自動デコーディングのパラダイムを採用することにより,暗黙のニューラルネットワーク表現とその係数を潜在空間で学習する。
  論文  参考訳（メタデータ） (2023-10-30T11:41:41Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Streamable Neural Fields [5.404549859703572]
  様々な幅の実行可能なサブネットワークからなる単一モデルである,ストリーム可能なニューラルフィールドを提案する。 提案したアーキテクチャおよびトレーニング技術により、単一のネットワークが時間とともにストリーミング可能となり、異なる品質と信号の一部を再構築することができる。 実験により,2次元画像,ビデオ,3次元符号付き距離関数など,様々な領域における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-07-20T05:42:02Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。