論文の概要: Reducing the Variance of Variational Estimates of Mutual Information by Limiting the Critic's Hypothesis Space to RKHS

• arxiv url: http://arxiv.org/abs/2011.08651v1
• Date: Tue, 17 Nov 2020 14:32:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 17:14:46.846893
• Title: Reducing the Variance of Variational Estimates of Mutual Information by Limiting the Critic's Hypothesis Space to RKHS
• Title（参考訳）: 批判者の仮説空間をrkhsに制限することで相互情報の変動推定のばらつきを減少させる
• Authors: P Aditya Sreekar, Ujjwal Tiwari and Anoop Namboodiri
• Abstract要約: 相互情報(英: Mutual Information、MI)は、2つの確率変数間の依存性に関する情報理論の尺度である。 近年の手法では、未知密度比を近似するニューラルネットワークとしてパラメトリック確率分布や批判が実現されている。 我々は、高分散特性は、批評家の仮説空間の制御不能な複雑さに起因すると論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mutual information (MI) is an information-theoretic measure of dependency between two random variables. Several methods to estimate MI, from samples of two random variables with unknown underlying probability distributions have been proposed in the literature. Recent methods realize parametric probability distributions or critic as a neural network to approximate unknown density ratios. The approximated density ratios are used to estimate different variational lower bounds of MI. While these methods provide reliable estimation when the true MI is low, they produce high variance estimates in cases of high MI. We argue that the high variance characteristic is due to the uncontrolled complexity of the critic's hypothesis space. In support of this argument, we use the data-driven Rademacher complexity of the hypothesis space associated with the critic's architecture to analyse generalization error bound of variational lower bound estimates of MI. In the proposed work, we show that it is possible to negate the high variance characteristics of these estimators by constraining the critic's hypothesis space to Reproducing Hilbert Kernel Space (RKHS), which corresponds to a kernel learned using Automated Spectral Kernel Learning (ASKL). By analysing the aforementioned generalization error bounds, we augment the overall optimisation objective with effective regularisation term. We empirically demonstrate the efficacy of this regularization in enforcing proper bias variance tradeoff on four variational lower bounds, namely NWJ, MINE, JS and SMILE.
• Abstract（参考訳）: 相互情報(英: Mutual Information、MI)は、2つの確率変数間の依存性に関する情報理論の尺度である。 未知の確率分布を持つ2つの確率変数のサンプルからMIを推定する方法が文献で提案されている。 近年の手法は、未知密度比を近似するニューラルネットワークとしてパラメトリック確率分布や批判を実現する。 近似密度比は、MIの異なる変動下界を推定するために用いられる。 これらの手法は、真のMIが低い場合に信頼性の高い推定を提供するが、高いMIの場合、高い分散推定を生成する。 我々は、高分散特性は、批評家の仮説空間の制御不能な複雑さに起因すると論じる。 この議論を支持するために、批判のアーキテクチャに関連する仮説空間のデータ駆動ラデマッハ複雑性を用いて、MIの変動的下界推定の一般化誤差を解析する。 本研究では,これらの推定器の高分散特性を,自動スペクトルカーネル学習 (ASKL) を用いて学習したカーネルに対応するHilbert Kernel Space (RKHS) の再生に批評家の仮説空間を制約することにより否定することができることを示す。 上記の一般化誤差境界を解析することにより、全最適化目標を効率的な正規化項で拡張する。 我々は,NWJ,MINE,JS,SMILEの4つの変分下界における適切なバイアス分散トレードオフを強制する上で,この正規化の有効性を実証的に実証した。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Estimation of mutual information via quantum kernel method [0.0]
  相互情報(MI)の推定は,複数の確率変数間の関係を非線形相関で調査する上で重要な役割を担っている。 本稿では,量子カーネルを用いた相互情報推定手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T00:53:16Z)
• Adaptive learning of density ratios in RKHS [3.047411947074805]
  有限個の観測から2つの確率密度の比を推定することは、機械学習と統計学における中心的な問題である。 我々は、再生カーネルヒルベルト空間における真の密度比とモデルの間の正規化ブレグマン偏差を最小化する大規模な密度比推定法を分析する。
  論文  参考訳（メタデータ） (2023-07-30T08:18:39Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Keep it Tighter -- A Story on Analytical Mean Embeddings [0.6445605125467574]
  カーネル技術は、データサイエンスにおいて最も人気があり柔軟なアプローチの一つである。 平均埋め込みは、最大平均不一致(MMD)と呼ばれる分岐測度をもたらす。 本稿では,基礎となる分布の1つの平均埋め込みが解析的に利用可能である場合のMDD推定の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2021-10-15T21:29:27Z)
• Neural Estimation of Statistical Divergences [24.78742908726579]
  ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法 特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。 NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:42:44Z)
• Statistical inference using Regularized M-estimation in the reproducing kernel Hilbert space for handling missing data [0.76146285961466]
  まずカーネルリッジレグレッションを用いてアイテム非応答の処理を行う。 カーネルヒルベルト空間を用いた非パラメトリック確率スコア推定器も開発した。 提案手法は,中国北京で測定された大気汚染データを解析するためのものである。
  論文  参考訳（メタデータ） (2021-07-15T14:51:39Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)
• Bayesian Uncertainty Estimation of Learned Variational MRI Reconstruction [63.202627467245584]
  我々は,モデル不連続な不確かさを定量化するベイズ変分フレームワークを提案する。 提案手法はMRIのアンダーサンプを用いた再建術の術後成績を示す。
  論文  参考訳（メタデータ） (2021-02-12T18:08:14Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。