論文の概要: Generative Adversarial Learning via Kernel Density Discrimination

• arxiv url: http://arxiv.org/abs/2107.06197v1
• Date: Tue, 13 Jul 2021 15:52:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 14:51:25.382950
• Title: Generative Adversarial Learning via Kernel Density Discrimination
• Title（参考訳）: カーネル密度識別による生成逆学習
• Authors: Abdelhak Lemkhenter, Adam Bielski, Alp Eren Sari, Paolo Favaro
• Abstract要約: 本稿では,KDD GAN(Kernel Density Discrimination GAN)について紹介する。 我々は,カーネル密度推定を特徴空間内で直接定義し,カーネル特徴写像の可逆性の必要性を排除した。 その結果,FIDの基準値に比べてFIDが10%から40%に向上することが示唆された。
• 参考スコア（独自算出の注目度）: 32.91091065436645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Kernel Density Discrimination GAN (KDD GAN), a novel method for generative adversarial learning. KDD GAN formulates the training as a likelihood ratio optimization problem where the data distributions are written explicitly via (local) Kernel Density Estimates (KDE). This is inspired by the recent progress in contrastive learning and its relation to KDE. We define the KDEs directly in feature space and forgo the requirement of invertibility of the kernel feature mappings. In our approach, features are no longer optimized for linear separability, as in the original GAN formulation, but for the more general discrimination of distributions in the feature space. We analyze the gradient of our loss with respect to the feature representation and show that it is better behaved than that of the original hinge loss. We perform experiments with the proposed KDE-based loss, used either as a training loss or a regularization term, on both CIFAR10 and scaled versions of ImageNet. We use BigGAN/SA-GAN as a backbone and baseline, since our focus is not to design the architecture of the networks. We show a boost in the quality of generated samples with respect to FID from 10% to 40% compared to the baseline. Code will be made available.
• Abstract（参考訳）: 本稿では,新しい生成的逆学習法であるkernel density discrimination gan (kdd gan)を提案する。 KDD GANは、(局所)カーネル密度推定(KDE)を介してデータ分布を明示的に記述する確率比最適化問題としてトレーニングを定式化する。 これは、最近のコントラスト学習の進歩とKDEとの関係に触発されている。 我々は,KDEを機能空間で直接定義し,カーネル機能マッピングの可逆性の必要性を排除した。 提案手法では,従来のGAN定式化のように線形分離性に最適化されるのではなく,特徴空間における分布のより一般的な識別に最適化される。 特徴表現に対する損失の勾配を分析し、元のヒンジ損失よりも振舞いがよいことを示す。 我々は、CIFAR10とImageNetのスケール版の両方において、トレーニング損失または正規化項として使用されるKDEに基づく損失実験を行った。 私たちはバックボーンとベースラインとしてbiggan/sa-ganを使用しています。 また,fidをベースラインと比較した場合,生成試料の品質が10%から40%向上することを示した。 コードは利用可能になる。

関連論文リスト

• Invariant Causal Knowledge Distillation in Neural Networks [6.24302896438145]
  本稿では,知識蒸留の高度化を目的とした新手法であるICDについて紹介する。 ICDは、生徒モデルの表現が教師の出力に関して差別的かつ不変であることを保証する。 CIFAR-100 と ImageNet ILSVRC-2012 の結果,ICD は従来の KD 技術より優れ,最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-16T14:53:35Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Learning Distributions via Monte-Carlo Marginalization [9.131712404284876]
  サンプルから抽出可能な分布を学習する新しい手法を提案する。 モンテカルロ・マルギナライゼーション(MCMarg)はこの問題に対処するために提案されている。 提案手法は複雑な分布を学習するための強力なツールであり、プロセス全体が微分可能である。
  論文  参考訳（メタデータ） (2023-08-11T19:08:06Z)
• Fast Private Kernel Density Estimation via Locality Sensitive Quantization [10.227538355037554]
  差分プライベートカーネル密度推定(DP-KDE)の効率的なメカニズムについて検討する。 カーネルを$d$の時間線形でプライベートに近似する方法を示し、高次元データに対して実現可能である。
  論文  参考訳（メタデータ） (2023-07-04T18:48:04Z)
• PDE+: Enhancing Generalization via PDE with Adaptive Distributional Diffusion [66.95761172711073]
  ニューラルネットワークの一般化は、機械学習における中心的な課題です。 本稿では、入力データを調整することに集中するのではなく、ニューラルネットワークの基盤機能を直接拡張することを提案する。 私たちはこの理論的フレームワークを、$textbfPDE+$$textbfPDE$ with $textbfA$daptive $textbfD$istributional $textbfD$iffusionとして実践しました。
  論文  参考訳（メタデータ） (2023-05-25T08:23:26Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。