論文の概要: Analysis of Discriminator in RKHS Function Space for Kullback-Leibler Divergence Estimation

• arxiv url: http://arxiv.org/abs/2002.11187v4
• Date: Sat, 4 Sep 2021 22:09:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 21:02:45.142815
• Title: Analysis of Discriminator in RKHS Function Space for Kullback-Leibler Divergence Estimation
• Title（参考訳）: Kullback-Leibler分散推定のためのRKHS関数空間の判別器の解析
• Authors: Sandesh Ghimire, Prashnna K Gyawali, Linwei Wang
• Abstract要約: 本稿では,ニューラルネットワーク判別器を用いて,KL(Kullback Leibler)の発散を推定する。 推定値の高ゆらぎは、判別器関数空間の複雑さを制御しない結果であると主張する。
• 参考スコア（独自算出の注目度）: 5.146375037973682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several scalable sample-based methods to compute the Kullback Leibler (KL) divergence between two distributions have been proposed and applied in large-scale machine learning models. While they have been found to be unstable, the theoretical root cause of the problem is not clear. In this paper, we study a generative adversarial network based approach that uses a neural network discriminator to estimate KL divergence. We argue that, in such case, high fluctuations in the estimates are a consequence of not controlling the complexity of the discriminator function space. We provide a theoretical underpinning and remedy for this problem by first constructing a discriminator in the Reproducing Kernel Hilbert Space (RKHS). This enables us to leverage sample complexity and mean embedding to theoretically relate the error probability bound of the KL estimates to the complexity of the discriminator in RKHS. Based on this theory, we then present a scalable way to control the complexity of the discriminator for a reliable estimation of KL divergence. We support both our proposed theory and method to control the complexity of the RKHS discriminator through controlled experiments.
• Abstract（参考訳）: Kullback Leibler(KL)の2つの分布間の分散を計算するためのスケーラブルなサンプルベース手法が提案され、大規模機械学習モデルに適用されている。 それらは不安定であることがわかったが、問題の理論的根本原因は明らかではない。 本稿では,ニューラルネットワーク判別器を用いてKLの発散を推定する,生成的対向ネットワークに基づくアプローチについて検討する。 このような場合、推定値の高ゆらぎは、判別器函数空間の複雑さを制御しない結果であると主張する。 本稿では、まず、RKHS(Reproduction Kernel Hilbert Space)における判別器を構築することにより、この問題に対する理論的基盤と対策を提供する。 これにより、サンプルの複雑さと平均埋め込みを利用して、KL推定値の誤差確率境界とRKHSの判別器の複雑さを理論的に関連付けることができる。 この理論に基づいて,kl発散の信頼性の高い推定のために,判別器の複雑性を制御するスケーラブルな手法を提案する。 我々は,RKHS判別器の複雑さを制御実験により制御する理論と手法の両方を支持する。

関連論文リスト

• Kolmogorov-Smirnov GAN [52.36633001046723]
  我々は、KSGAN(Kolmogorov-Smirnov Generative Adversarial Network)という新しい深層生成モデルを提案する。 既存のアプローチとは異なり、KSGANはKS距離の最小化として学習プロセスを定式化している。
  論文  参考訳（メタデータ） (2024-06-28T14:30:14Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Conjugate Gradient Method for Generative Adversarial Networks [0.0]
  深層ニューラルネットワークモデルの密度関数と密度関数のJensen-Shannon分散を計算することは不可能である。 GAN(Generative Adversarial Network)は、この問題をジェネレータと識別器という2つのモデルで識別する問題として定式化することができる。 本稿では,GANの局所的なナッシュ平衡問題の解法として共役勾配法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T04:44:45Z)
• Structure-preserving GANs [6.438897276587413]
  分散学習のためのデータ効率フレームワークとして,構造保存型GANを導入する。 我々は、不変判別器空間上のその射影に対して、判別器空間を減少させることができることを示す。 固有群対称性を持つ分布に対する対称性保存GANを構築することで、我々の枠組みを文脈化する。
  論文  参考訳（メタデータ） (2022-02-02T16:40:04Z)
• Variance Minimization in the Wasserstein Space for Invariant Causal Prediction [72.13445677280792]
  そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。 これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。 我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2021-10-13T22:30:47Z)
• Reliable Estimation of KL Divergence using a Discriminator in Reproducing Kernel Hilbert Space [1.8906500245637619]
  Kullback Leibler (KL) を2つの分布のサンプルから推定することは、多くの機械学習問題において不可欠である。 ニューラルネットワーク判別器を用いた変分法は、この課題をスケーラブルな方法で達成するために提案されている。
  論文  参考訳（メタデータ） (2021-09-29T19:50:06Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Fuzzy Discriminant Clustering with Fuzzy Pairwise Constraints [7.527846230182886]
  本稿では, 半教師付きファジィクラスタリングにおいて, 従来のマスタリンク制約をファジィ対制約に拡張する。 ファジィ対の制約により、監督者はファジィファジィ空間間の類似度や相似度のグレードを提供することができる。
  論文  参考訳（メタデータ） (2021-04-17T13:58:10Z)
• Forward and inverse reinforcement learning sharing network weights and hyperparameters [3.705785916791345]
  ERILは、エントロピー規則化マルコフ決定プロセスの枠組みの下で、前方および逆強化学習(RL)を組み合わせる。 前部RLステップは、逆RLステップによって推定される逆KLを最小化する。 逆KL分岐の最小化は最適ポリシーの発見と等価であることを示す。
  論文  参考訳（メタデータ） (2020-08-17T13:12:44Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。