論文の概要: Discrete Distribution Networks
- arxiv url: http://arxiv.org/abs/2401.00036v2
- Date: Mon, 07 Oct 2024 07:14:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:41:32.709300
- Title: Discrete Distribution Networks
- Title(参考訳): 離散分布ネットワーク
- Authors: Lei Yang,
- Abstract要約: 本稿では,階層的な離散分布を用いてデータ分布を近似する新しい生成モデルであるDcrete Distribution Networks (DDN)を導入する。
CIFAR-10 および FFHQ における実験により,DDN の有効性とその興味深い性質を実証した。
- 参考スコア(独自算出の注目度): 4.079031335530995
- License:
- Abstract: We introduce a novel generative model, the Discrete Distribution Networks (DDN), that approximates data distribution using hierarchical discrete distributions. We posit that since the features within a network inherently capture distributional information, enabling the network to generate multiple samples simultaneously, rather than a single output, may offer an effective way to represent distributions. Therefore, DDN fits the target distribution, including continuous ones, by generating multiple discrete sample points. To capture finer details of the target data, DDN selects the output that is closest to the Ground Truth (GT) from the coarse results generated in the first layer. This selected output is then fed back into the network as a condition for the second layer, thereby generating new outputs more similar to the GT. As the number of DDN layers increases, the representational space of the outputs expands exponentially, and the generated samples become increasingly similar to the GT. This hierarchical output pattern of discrete distributions endows DDN with unique property: more general zero-shot conditional generation. We demonstrate the efficacy of DDN and its intriguing properties through experiments on CIFAR-10 and FFHQ. The code is available at https://discrete-distribution-networks.github.io/
- Abstract(参考訳): 本稿では,階層的な離散分布を用いてデータ分布を近似する新しい生成モデルであるDcrete Distribution Networks (DDN)を導入する。
ネットワーク内の特徴は本質的に分布情報をキャプチャし、単一の出力ではなく複数のサンプルを同時に生成できるので、分散を表現する効果的な方法が得られると仮定する。
したがって、DDNは複数の離散サンプル点を生成することにより、連続的な分布を含む対象分布に適合する。
DDNは、ターゲットデータのより詳細な情報をキャプチャするために、第1層で生成された粗い結果から、GTに最も近い出力を選択する。
この選択された出力は、第2層の条件としてネットワークにフィードバックされ、GTに類似した新しい出力を生成する。
DDN層の数が増加するにつれて、出力の表現空間は指数関数的に拡大し、生成したサンプルはGTに近づきつつある。
この離散分布の階層的な出力パターンはDDNに固有の性質を与える:より一般的なゼロショット条件生成である。
CIFAR-10 および FFHQ における実験により,DDN の有効性とその興味深い性質を実証した。
コードはhttps://discrete-distribution-networks.github.io/で公開されている。
関連論文リスト
- Sampling-based Distributed Training with Message Passing Neural Network [1.1088875073103417]
ドメイン分割に基づくメッセージパッシングニューラルネットワーク(MPNN)のための分散トレーニングと推論手法を提案する。
我々はDS-MPNN(DとSは分散してサンプリングされる)と呼ばれるスケーラブルなグラフニューラルネットワークを提案し、最大$O(105)のノードをスケーリングできる。
論文 参考訳(メタデータ) (2024-02-23T05:33:43Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Bayesian Flow Networks [4.585102332532472]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。
単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。
BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文 参考訳(メタデータ) (2023-08-14T09:56:35Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳(メタデータ) (2023-07-17T07:12:29Z) - MaGNET: Uniform Sampling from Deep Generative Network Manifolds Without
Retraining [9.294580808320534]
我々は、DGNが訓練された場合、学習多様体上に均一に分布するサンプルを生成する、微分幾何学に基づくサンプリング器、MaGNETを開発した。
我々は,この手法がトレーニングセットの分布によらず,多様体上の一様分布を生成することを理論的かつ実証的に証明する。
論文 参考訳(メタデータ) (2021-10-15T11:12:56Z) - VARGAN: Variance Enforcing Network Enhanced GAN [0.6445605125467573]
我々は、GAN(VARGAN)を強制する分散と呼ばれる新しいGANアーキテクチャを導入する。
VARGANは第3のネットワークを組み込んで、生成されたサンプルに多様性を導入する。
高多様性と低計算複雑性、および高速収束により、VARGANはモード崩壊を緩和する有望なモデルとなる。
論文 参考訳(メタデータ) (2021-09-05T16:28:21Z) - Multi-Source Domain Adaptation for Object Detection [52.87890831055648]
我々は、Divide-and-Merge Spindle Network (DMSN)と呼ばれる、より高速なR-CNNベースのフレームワークを提案する。
DMSNはドメイン非ネイティブを同時に強化し、識別力を維持することができる。
擬似目標部分集合の最適パラメータを近似する新しい擬似学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-06-30T03:17:20Z) - IID-GAN: an IID Sampling Perspective for Regularizing Mode Collapse [82.49564071049366]
GAN(Generative Adversarial Network)はまだモード崩壊に悩まされている。
我々は、この問題を独立かつ同一に分散されたIIDサンプリング視点で分析し、規則化しようと試みる。
本稿では,実データの逆サンプルとガウス音源との近接性を高め,対象分布から生成するIIDを正規化するための新たな損失を提案する。
論文 参考訳(メタデータ) (2021-06-01T15:20:34Z) - Brainstorming Generative Adversarial Networks (BGANs): Towards
Multi-Agent Generative Models with Distributed Private Datasets [70.62568022925971]
生成的敵ネットワーク(GAN)は、データ空間を適切に表現する大規模なデータセットによって供給されなければならない。
多くのシナリオでは、利用可能なデータセットは制限され、複数のエージェントに分散する可能性がある。
本稿では,BGAN(Breepstorming GAN)アーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-02-02T02:58:32Z) - Unsupervised multi-modal Styled Content Generation [61.040392094140245]
UMMGANは、教師なし方式でマルチモーダル分布をモデル化するために設計された新しいアーキテクチャである。
UMMGANはモードとスタイルを効果的に切り離し、生成したコンテンツに対して独立した制御を行うことができることを示す。
論文 参考訳(メタデータ) (2020-01-10T19:36:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。