論文の概要: Reliable Estimation of KL Divergence using a Discriminator in
Reproducing Kernel Hilbert Space
- arxiv url: http://arxiv.org/abs/2109.14688v1
- Date: Wed, 29 Sep 2021 19:50:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-02 08:48:50.712451
- Title: Reliable Estimation of KL Divergence using a Discriminator in
Reproducing Kernel Hilbert Space
- Title（参考訳）: カーネルヒルベルト空間における判別器を用いたkl発散の信頼性評価
- Authors: Sandesh Ghimire, Aria Masoomi and Jennifer Dy
- Abstract要約: Kullback Leibler (KL) を2つの分布のサンプルから推定することは、多くの機械学習問題において不可欠である。
ニューラルネットワーク判別器を用いた変分法は、この課題をスケーラブルな方法で達成するために提案されている。
- 参考スコア（独自算出の注目度）: 1.8906500245637619
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating Kullback Leibler (KL) divergence from samples of two distributions
is essential in many machine learning problems. Variational methods using
neural network discriminator have been proposed to achieve this task in a
scalable manner. However, we noted that most of these methods using neural
network discriminators suffer from high fluctuations (variance) in estimates
and instability in training. In this paper, we look at this issue from
statistical learning theory and function space complexity perspective to
understand why this happens and how to solve it. We argue that the cause of
these pathologies is lack of control over the complexity of the neural network
discriminator function and could be mitigated by controlling it. To achieve
this objective, we 1) present a novel construction of the discriminator in the
Reproducing Kernel Hilbert Space (RKHS), 2) theoretically relate the error
probability bound of the KL estimates to the complexity of the discriminator in
the RKHS space, 3) present a scalable way to control the complexity (RKHS norm)
of the discriminator for a reliable estimation of KL divergence, and 4) prove
the consistency of the proposed estimator. In three different applications of
KL divergence : estimation of KL, estimation of mutual information and
Variational Bayes, we show that by controlling the complexity as developed in
the theory, we are able to reduce the variance of KL estimates and stabilize
the training
- Abstract（参考訳）: Kullback Leibler (KL) を2つの分布のサンプルから推定することは、多くの機械学習問題において不可欠である。
この課題をスケーラブルに達成するために,ニューラルネットワーク判別器を用いた変分法が提案されている。
しかし,ニューラルネット判別器を用いたこれらの手法の多くは,推定値の変動(ばらつき)やトレーニングの不安定さに苦しんでいる。
本稿では,統計学習理論と関数空間の複雑性の観点からこの問題を考察し,その原因と解決方法について考察する。
これらの病理の原因は、ニューラルネットワーク識別関数の複雑さに対する制御の欠如であり、それを制御することで軽減できると主張している。
この目的を達成するために
1)再生核ヒルベルト空間(rkhs)における判別器の新規な構成について述べる。
2)KL推定値の誤差確率境界とRKHS空間の判別器の複雑さを理論的に関連付ける。
3)kl発散の信頼性の高い推定のための判別器の複雑性(rkhsノルム)を制御するスケーラブルな方法を提案する。
4) 提案する推定器の整合性を証明する。
kl発散の3つの異なる応用 : klの推定、相互情報の推定、変動ベイズについて、理論で開発された複雑さを制御すれば、kl推定のばらつきを低減し、トレーニングを安定化できることを示す。
関連論文リスト
- Kolmogorov-Smirnov GAN [52.36633001046723]
我々は、KSGAN(Kolmogorov-Smirnov Generative Adversarial Network)という新しい深層生成モデルを提案する。
既存のアプローチとは異なり、KSGANはKS距離の最小化として学習プロセスを定式化している。
論文 参考訳（メタデータ） (2024-06-28T14:30:14Z) - Sinkhorn Distance Minimization for Knowledge Distillation [97.64216712016571]
知識蒸留(KD)は大規模言語モデル(LLM)の圧縮に広く採用されている。
本稿では,上述のKL,RKL,JSの発散が,それぞれモード緩和,モード崩壊,モード下推定といった問題に悩まされていることを示す。
本研究では,Sinkhorn 距離を利用した Sinkhorn Knowledge Distillation (SinKD) を提案する。
論文 参考訳（メタデータ） (2024-02-27T01:13:58Z) - Variational Inference of overparameterized Bayesian Neural Networks: a
theoretical and empirical study [27.86555142135798]
本稿では,ベイズニューラルネットワーク(BNN)のトレーニングに用いる変分推論(VI)について検討する。
平均フィールドVIトレーニングにおける重要な課題を指摘する。
この問題は、エビデンス(ELBO)の下位境界を2項に分解することから生じる。
論文 参考訳（メタデータ） (2022-07-08T12:31:08Z) - Conjugate Gradient Method for Generative Adversarial Networks [0.0]
深層ニューラルネットワークモデルの密度関数と密度関数のJensen-Shannon分散を計算することは不可能である。
GAN(Generative Adversarial Network)は、この問題をジェネレータと識別器という2つのモデルで識別する問題として定式化することができる。
本稿では,GANの局所的なナッシュ平衡問題の解法として共役勾配法を提案する。
論文 参考訳（メタデータ） (2022-03-28T04:44:45Z) - Variance Minimization in the Wasserstein Space for Invariant Causal
Prediction [72.13445677280792]
そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。
これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。
我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
論文 参考訳（メタデータ） (2021-10-13T22:30:47Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Reducing the Variance of Variational Estimates of Mutual Information by
Limiting the Critic's Hypothesis Space to RKHS [0.0]
相互情報(英: Mutual Information、MI)は、2つの確率変数間の依存性に関する情報理論の尺度である。
近年の手法では、未知密度比を近似するニューラルネットワークとしてパラメトリック確率分布や批判が実現されている。
我々は、高分散特性は、批評家の仮説空間の制御不能な複雑さに起因すると論じる。
論文 参考訳（メタデータ） (2020-11-17T14:32:48Z) - Forward and inverse reinforcement learning sharing network weights and
hyperparameters [3.705785916791345]
ERILは、エントロピー規則化マルコフ決定プロセスの枠組みの下で、前方および逆強化学習(RL)を組み合わせる。
前部RLステップは、逆RLステップによって推定される逆KLを最小化する。
逆KL分岐の最小化は最適ポリシーの発見と等価であることを示す。
論文 参考訳（メタデータ） (2020-08-17T13:12:44Z) - Analysis of Discriminator in RKHS Function Space for Kullback-Leibler
Divergence Estimation [5.146375037973682]
本稿では,ニューラルネットワーク判別器を用いて,KL(Kullback Leibler)の発散を推定する。
推定値の高ゆらぎは、判別器関数空間の複雑さを制御しない結果であると主張する。
論文 参考訳（メタデータ） (2020-02-25T21:44:52Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。