論文の概要: Neural Network Diffusion
- arxiv url: http://arxiv.org/abs/2402.13144v1
- Date: Tue, 20 Feb 2024 16:59:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 14:16:11.465575
- Title: Neural Network Diffusion
- Title(参考訳): ニューラルネットワークの拡散
- Authors: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang
Liu, and Yang You
- Abstract要約: 拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。
本研究は拡散モデルにも適用可能であることを示す。
高性能なニューラルネットワークパラメータを生成する。
- 参考スコア(独自算出の注目度): 50.85251415173792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have achieved remarkable success in image and video
generation. In this work, we demonstrate that diffusion models can also
\textit{generate high-performing neural network parameters}. Our approach is
simple, utilizing an autoencoder and a standard latent diffusion model. The
autoencoder extracts latent representations of a subset of the trained network
parameters. A diffusion model is then trained to synthesize these latent
parameter representations from random noise. It then generates new
representations that are passed through the autoencoder's decoder, whose
outputs are ready to use as new subsets of network parameters. Across various
architectures and datasets, our diffusion process consistently generates models
of comparable or improved performance over trained networks, with minimal
additional cost. Notably, we empirically find that the generated models perform
differently with the trained networks. Our results encourage more exploration
on the versatile use of diffusion models.
- Abstract(参考訳): 拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。
本研究では,拡散モデルが高パフォーマンスニューラルネットワークパラメータを生成できることを示す。
我々のアプローチは単純で、オートエンコーダと標準潜在拡散モデルを利用する。
オートエンコーダは、トレーニングされたネットワークパラメータのサブセットの潜在表現を抽出する。
拡散モデルは、ランダムノイズからこれらの潜在パラメータ表現を合成するために訓練される。
その後、autoencoderのデコーダに渡される新しい表現を生成し、その出力はネットワークパラメータの新たなサブセットとして使用する準備ができています。
さまざまなアーキテクチャやデータセットにまたがって、当社の拡散プロセスは、トレーニングされたネットワーク上で同等あるいは改善されたパフォーマンスのモデルを、最小限の追加コストで一貫して生成します。
特に私たちは、生成されたモデルがトレーニングされたネットワークと異なるパフォーマンスを持つことを経験的に発見します。
この結果は拡散モデルの多元性利用に関するさらなる探索を奨励するものである。
関連論文リスト
- Analyzing Neural Network-Based Generative Diffusion Models through
Convex Optimization [54.01594785269913]
拡散モデルは画像、ビデオ、オーディオ生成に広く使われている。
スコアベース拡散モデルでは,入力データ分布のスコア関数を推定する必要がある。
この研究は、ニューラルネットワークベースの拡散モデルが漸近的でない環境で何を学ぶかを理解するのに寄与する。
論文 参考訳(メタデータ) (2024-02-03T00:20:25Z) - SODA: Bottleneck Diffusion Models for Representation Learning [75.7331354734152]
本稿では,表現学習のための自己教師付き拡散モデルSODAを紹介する。
このモデルには、ソースビューをコンパクトな表現に蒸留するイメージエンコーダが組み込まれており、関連する新規ビューの生成を導く。
エンコーダと復調復調復調復調復調復調復調復調復号器の密集ボトルネックを付与することにより,拡散モデルを強力な表現学習器に変換することができることを示す。
論文 参考訳(メタデータ) (2023-11-29T18:53:34Z) - Generative Neural Fields by Mixtures of Neural Implicit Functions [43.27461391283186]
本稿では,暗黙的ベースネットワークの線形結合によって表現される生成的ニューラルネットワークを学習するための新しいアプローチを提案する。
提案アルゴリズムは,メタラーニングや自動デコーディングのパラダイムを採用することにより,暗黙のニューラルネットワーク表現とその係数を潜在空間で学習する。
論文 参考訳(メタデータ) (2023-10-30T11:41:41Z) - Learning End-to-End Channel Coding with Diffusion Models [19.80498913496519]
拡散モデルに基づくエンドツーエンドのチャネル符号化フレームワークを提案する。
様々なチャネルモデルを用いたシミュレーションにより,拡散モデルがチャネル分布を正確に学習できることが確かめられる。
また,高速化サンプリングアルゴリズムを適用した場合のサンプリング品質とサンプリング速度のトレードオフについても検討する。
論文 参考訳(メタデータ) (2023-09-19T10:35:54Z) - Bayesian Flow Networks [4.585102332532472]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。
単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。
BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文 参考訳(メタデータ) (2023-08-14T09:56:35Z) - Diffusion Models as Masked Autoencoders [52.442717717898056]
拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。
拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。
設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
論文 参考訳(メタデータ) (2023-04-06T17:59:56Z) - Reduce, Reuse, Recycle: Compositional Generation with Energy-Based
Diffusion Models and MCMC [106.06185677214353]
拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。
本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。
これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
論文 参考訳(メタデータ) (2023-02-22T18:48:46Z) - Streamable Neural Fields [5.404549859703572]
様々な幅の実行可能なサブネットワークからなる単一モデルである,ストリーム可能なニューラルフィールドを提案する。
提案したアーキテクチャおよびトレーニング技術により、単一のネットワークが時間とともにストリーミング可能となり、異なる品質と信号の一部を再構築することができる。
実験により,2次元画像,ビデオ,3次元符号付き距離関数など,様々な領域における本手法の有効性が示された。
論文 参考訳(メタデータ) (2022-07-20T05:42:02Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。