論文の概要: Inductive Mutual Information Estimation: A Convex Maximum-Entropy Copula
Approach
- arxiv url: http://arxiv.org/abs/2102.13182v1
- Date: Thu, 25 Feb 2021 21:21:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-02 00:29:47.156704
- Title: Inductive Mutual Information Estimation: A Convex Maximum-Entropy Copula
Approach
- Title（参考訳）: インダクティブな相互情報推定:凸最大エントロピーコプラアプローチ
- Authors: Yves-Laurent Kom Samo
- Abstract要約: 我々は2つの順序ベクトルの相互情報をx$とy$で推定する新しい推定器を提案する。
我々は、制約が実現可能である限り、この問題は一意な解を認め、指数関数族であり、凸最適化問題を解くことによって学習できることを証明する。
提案手法は,偽試料のコプラのエントロピーを最大化することにより,ganのモード崩壊の軽減に有用であることを示す。
- 参考スコア（独自算出の注目度）: 0.5330240017302619
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We propose a novel estimator of the mutual information between two ordinal
vectors $x$ and $y$. Our approach is inductive (as opposed to deductive) in
that it depends on the data generating distribution solely through some
nonparametric properties revealing associations in the data, and does not
require having enough data to fully characterize the true joint distributions
$P_{x, y}$. Specifically, our approach consists of (i) noting that $I\left(y;
x\right) = I\left(u_y; u_x\right)$ where $u_y$ and $u_x$ are the
\emph{copula-uniform dual representations} of $y$ and $x$ (i.e. their images
under the probability integral transform), and (ii) estimating the copula
entropies $h\left(u_y\right)$, $h\left(u_x\right)$ and $h\left(u_y, u_x\right)$
by solving a maximum-entropy problem over the space of copula densities under a
constraint of the type $\alpha_m = E\left[\phi_m(u_y, u_x)\right]$. We prove
that, so long as the constraint is feasible, this problem admits a unique
solution, it is in the exponential family, and it can be learned by solving a
convex optimization problem. The resulting estimator, which we denote MIND, is
marginal-invariant, always non-negative, unbounded for any sample size $n$,
consistent, has MSE rate $O(1/n)$, and is more data-efficient than competing
approaches. Beyond mutual information estimation, we illustrate that our
approach may be used to mitigate mode collapse in GANs by maximizing the
entropy of the copula of fake samples, a model we refer to as Copula Entropy
Regularized GAN (CER-GAN).
- Abstract（参考訳）: 我々は2つの順序ベクトルの相互情報をx$とy$で推定する新しい推定器を提案する。
我々のアプローチは、データ内の関係を明らかにするいくつかの非パラメトリックな特性を通してのみデータ生成分布に依存するという点で(デダクティブとは対照的に)帰納的であり、真のジョイント分布を完全な特徴付けるのに十分なデータを必要としない。
具体的には、i)$I\left(y; x\right) = I\left(u_y; u_x\right)$ ここで $u_y$ と $u_x$ は $y$ と $x$ の \emph{copula-uniform dual representations} である。
それらの画像は確率積分変換の下で)、および (ii) コプラエントロピー$h\left(u_y\right)$, $h\left(u_x\right)$と$h\left(u_y, u_x\right)$を推定し、型 $\alpha_m = E\left[\phi_m(u_y, u_x)\right]$の制約の下でコプラ密度の空間上の最大エントロピー問題を解く。
我々は、制約が実現可能である限り、この問題は一意な解を認め、指数関数族であり、凸最適化問題を解くことによって学習できることを証明する。
MIND を表わす結果の推定量は、常に非負で、任意のサンプルサイズ$n$に対して有界であり、一貫性があり、MSE レート $O(1/n)$ を持ち、競合するアプローチよりもデータ効率が高い。
相互情報推定以外にも,CER-GAN (Copula Entropy Regulationized GAN) と呼ばれる偽サンプルのコプラのエントロピーを最大化することで,GANのモード崩壊を緩和する手法が考えられることを実証した。
関連論文リスト
- Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。
本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-01T17:59:53Z) - Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
条件分布は機械学習の中心的な問題です
ペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。
我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
論文 参考訳（メタデータ） (2024-10-03T16:12:59Z) - The Sample Complexity Of ERMs In Stochastic Convex Optimization [13.896417716930687]
実際に$tildeO(fracdepsilon+frac1epsilon2)$データポイントも十分であることを示す。
さらに、この結果を一般化し、全ての凸体に対して同様の上界が成り立つことを示す。
論文 参考訳（メタデータ） (2023-11-09T14:29:25Z) - Sparse Gaussian Graphical Models with Discrete Optimization:
Computational and Statistical Perspectives [8.403841349300103]
本研究では,無向ガウス図形モデルに基づくスパースグラフの学習問題を考察する。
擬似微分関数の $ell_0$-penalized バージョンに基づく新しい推定器 GraphL0BnB を提案する。
実/合成データセットに関する数値実験により,本手法がほぼ最適に,p = 104$の問題を解けることが示唆された。
論文 参考訳（メタデータ） (2023-07-18T15:49:02Z) - Near Sample-Optimal Reduction-based Policy Learning for Average Reward
MDP [58.13930707612128]
この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。
我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
論文 参考訳（メタデータ） (2022-12-01T15:57:58Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Localization in 1D non-parametric latent space models from pairwise
affinities [6.982738885923206]
対の親和性から一次元トーラスにおける潜伏位置を推定する問題を考察する。
高確率でsqrtlog(n)/n$の順序の最大誤差で全ての潜伏位置を確実にローカライズする推定手順を導入する。
論文 参考訳（メタデータ） (2021-08-06T13:05:30Z) - SDP Achieves Exact Minimax Optimality in Phase Synchronization [19.909352968029584]
我々は、ノイズ測定$Y=z*z*+sigma WinmathbbCntimes ntimes nで位相同期問題を研究する。
SDPが誤差境界$ (1+o)fracnp22np$を2乗の$ell$損失で達成することを証明する。
論文 参考訳（メタデータ） (2021-01-07T03:14:05Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。