論文の概要: Discrete Distribution Networks

• arxiv url: http://arxiv.org/abs/2401.00036v2
• Date: Mon, 07 Oct 2024 07:14:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:41:32.709300
• Title: Discrete Distribution Networks
• Title（参考訳）: 離散分布ネットワーク
• Authors: Lei Yang,
• Abstract要約: 本稿では,階層的な離散分布を用いてデータ分布を近似する新しい生成モデルであるDcrete Distribution Networks (DDN)を導入する。 CIFAR-10 および FFHQ における実験により,DDN の有効性とその興味深い性質を実証した。
• 参考スコア（独自算出の注目度）: 4.079031335530995
• License:
• Abstract: We introduce a novel generative model, the Discrete Distribution Networks (DDN), that approximates data distribution using hierarchical discrete distributions. We posit that since the features within a network inherently capture distributional information, enabling the network to generate multiple samples simultaneously, rather than a single output, may offer an effective way to represent distributions. Therefore, DDN fits the target distribution, including continuous ones, by generating multiple discrete sample points. To capture finer details of the target data, DDN selects the output that is closest to the Ground Truth (GT) from the coarse results generated in the first layer. This selected output is then fed back into the network as a condition for the second layer, thereby generating new outputs more similar to the GT. As the number of DDN layers increases, the representational space of the outputs expands exponentially, and the generated samples become increasingly similar to the GT. This hierarchical output pattern of discrete distributions endows DDN with unique property: more general zero-shot conditional generation. We demonstrate the efficacy of DDN and its intriguing properties through experiments on CIFAR-10 and FFHQ. The code is available at https://discrete-distribution-networks.github.io/
• Abstract（参考訳）: 本稿では,階層的な離散分布を用いてデータ分布を近似する新しい生成モデルであるDcrete Distribution Networks (DDN)を導入する。 ネットワーク内の特徴は本質的に分布情報をキャプチャし、単一の出力ではなく複数のサンプルを同時に生成できるので、分散を表現する効果的な方法が得られると仮定する。 したがって、DDNは複数の離散サンプル点を生成することにより、連続的な分布を含む対象分布に適合する。 DDNは、ターゲットデータのより詳細な情報をキャプチャするために、第1層で生成された粗い結果から、GTに最も近い出力を選択する。 この選択された出力は、第2層の条件としてネットワークにフィードバックされ、GTに類似した新しい出力を生成する。 DDN層の数が増加するにつれて、出力の表現空間は指数関数的に拡大し、生成したサンプルはGTに近づきつつある。 この離散分布の階層的な出力パターンはDDNに固有の性質を与える:より一般的なゼロショット条件生成である。 CIFAR-10 および FFHQ における実験により,DDN の有効性とその興味深い性質を実証した。 コードはhttps://discrete-distribution-networks.github.io/で公開されている。

関連論文リスト

• Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
  我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T15:40:04Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Distribution Fitting for Combating Mode Collapse in Generative Adversarial Networks [1.5769569085442372]
  モード崩壊は、生成的敵ネットワークの重要な未解決問題である。 本稿では, ペナルティ項付きグローバル分散フィッティング(GDF)法を提案し, 生成したデータ分布を限定する。 また,実データ全体の到達不能時の状況に対処する局所分布フィッティング法(LDF)を提案する。
  論文  参考訳（メタデータ） (2022-12-03T03:39:44Z)
• MaGNET: Uniform Sampling from Deep Generative Network Manifolds Without Retraining [9.294580808320534]
  我々は、DGNが訓練された場合、学習多様体上に均一に分布するサンプルを生成する、微分幾何学に基づくサンプリング器、MaGNETを開発した。 我々は,この手法がトレーニングセットの分布によらず,多様体上の一様分布を生成することを理論的かつ実証的に証明する。
  論文  参考訳（メタデータ） (2021-10-15T11:12:56Z)
• Multi-Source Domain Adaptation for Object Detection [52.87890831055648]
  我々は、Divide-and-Merge Spindle Network (DMSN)と呼ばれる、より高速なR-CNNベースのフレームワークを提案する。 DMSNはドメイン非ネイティブを同時に強化し、識別力を維持することができる。 擬似目標部分集合の最適パラメータを近似する新しい擬似学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-06-30T03:17:20Z)
• IID-GAN: an IID Sampling Perspective for Regularizing Mode Collapse [82.49564071049366]
  GAN(Generative Adversarial Network)はまだモード崩壊に悩まされている。 我々は、この問題を独立かつ同一に分散されたIIDサンプリング視点で分析し、規則化しようと試みる。 本稿では,実データの逆サンプルとガウス音源との近接性を高め,対象分布から生成するIIDを正規化するための新たな損失を提案する。
  論文  参考訳（メタデータ） (2021-06-01T15:20:34Z)
• GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences [70.30467057209405]
  GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。 GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。 本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
  論文  参考訳（メタデータ） (2020-03-02T04:31:22Z)
• Brainstorming Generative Adversarial Networks (BGANs): Towards Multi-Agent Generative Models with Distributed Private Datasets [70.62568022925971]
  生成的敵ネットワーク(GAN)は、データ空間を適切に表現する大規模なデータセットによって供給されなければならない。 多くのシナリオでは、利用可能なデータセットは制限され、複数のエージェントに分散する可能性がある。 本稿では,BGAN(Breepstorming GAN)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-02T02:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。