論文の概要: On the Properties of Kullback-Leibler Divergence Between Gaussians
- arxiv url: http://arxiv.org/abs/2102.05485v1
- Date: Wed, 10 Feb 2021 15:21:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-11 14:30:56.140466
- Title: On the Properties of Kullback-Leibler Divergence Between Gaussians
- Title（参考訳）: ガウス間のクールバック・ライバー拡散の性質について
- Authors: Yufeng Zhang, Wanwei Liu, Zhenbang Chen, Kenli Li, Ji Wang
- Abstract要約: Kullback-Leibler (KL) の発散は確率分布間の最も重要な発散測度の一つである。
本稿では,ガウシアン間のKL分散特性について検討する。
- 参考スコア（独自算出の注目度）: 22.274623046922628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kullback-Leibler (KL) divergence is one of the most important divergence
measures between probability distributions. In this paper, we investigate the
properties of KL divergence between Gaussians. Firstly, for any two
$n$-dimensional Gaussians $\mathcal{N}_1$ and $\mathcal{N}_2$, we find the
supremum of $KL(\mathcal{N}_1||\mathcal{N}_2)$ when
$KL(\mathcal{N}_2||\mathcal{N}_1)\leq \epsilon$ for $\epsilon>0$. This reveals
the approximate symmetry of small KL divergence between Gaussians. We also find
the infimum of $KL(\mathcal{N}_1||\mathcal{N}_2)$ when
$KL(\mathcal{N}_2||\mathcal{N}_1)\geq M$ for $M>0$. Secondly, for any three
$n$-dimensional Gaussians $\mathcal{N}_1, \mathcal{N}_2$ and $\mathcal{N}_3$,
we find a tight bound of $KL(\mathcal{N}_1||\mathcal{N}_3)$ if
$KL(\mathcal{N}_1||\mathcal{N}_2)$ and $KL(\mathcal{N}_2||\mathcal{N}_3)$ are
bounded. This reveals that the KL divergence between Gaussians follows a
relaxed triangle inequality. Importantly, all the bounds in the theorems
presented in this paper are independent of the dimension $n$.
- Abstract（参考訳）: Kullback-Leibler (KL) の発散は確率分布間の最も重要な発散測度の一つである。
本稿では,ガウス間のKL拡散の性質について検討する。
まず、任意の 2 つの $n$-次元ガウス元 $\mathcal{N}_1$ と $\mathcal{N}_2$ に対して、$KL(\mathcal{N}_1|\mathcal{N}_2)$ が $\epsilon>0$ に対して $KL(\mathcal{N}_2|\mathcal{N}_1)\leq \epsilon$ の上限を求める。
これはガウス多様体間の小さなKL発散の近似対称性を明らかにする。
また、$KL(\mathcal{N}_1||\mathcal{N}_2)$の場合、$KL(\mathcal{N}_2||\mathcal{N}_1)\geq M$を$M>0$として見つける。
第二に、3つの$n$-次元ガウス元 $\mathcal{N}_1, \mathcal{N}_2$ と $\mathcal{N}_3$ に対して、$KL(\mathcal{N}_1||\mathcal{N}_3)$ と $KL(\mathcal{N}_1||\mathcal{N}_2)$ と $KL(\mathcal{N}_2||\mathcal{N}_3)$ のタイトな有界が有界である。
このことは、ガウス間のKLの発散が緩和された三角形の不等式に従うことを示している。
重要なことに、本論文で示される定理のすべての境界は次元 $n$ から独立である。
関連論文リスト
- Exploring topological entanglement through Dehn surgery [1.3328842853079743]
リンク補体のDehn充填から得られる閉3次元多様体の分割関数を計算する。
我々は、すべての双曲結び目に対して最大6つの交差点に対して明示的な結果を与えた。
論文 参考訳（メタデータ） (2024-02-12T07:38:14Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - SQ Lower Bounds for Learning Mixtures of Linear Classifiers [43.63696593768504]
この問題に対する既知のアルゴリズムは、一様混合の特別な場合であっても、本質的には最善であることを示す。
重要な技術的要素は、独立した関心を持つかもしれない球面設計の新たな構築である。
論文 参考訳（メタデータ） (2023-10-18T10:56:57Z) - Rigorous derivation of the Efimov effect in a simple model [68.8204255655161]
我々は、2体ゼロレンジ相互作用と、与えられた半径$a>0$の3体ハードコア反発を持つ$mathbbR3$の3つの同一ボソンの系を考える。
論文 参考訳（メタデータ） (2023-06-21T10:11:28Z) - A random matrix model for random approximate $t$-designs [1.534667887016089]
任意の$t$に対して$delta(nu_mathcalS,t)$の確率分布を記述するためにランダム行列モデルを提案する。
我々のモデルはいわゆるスペクトルギャップ予想を満足していること、すなわち、$sup が $tinmathbbZ_+$ であること、すなわち $sup が $tinmathbbZ_+delta(k)=delta(t)$ であることを示す。
論文 参考訳（メタデータ） (2022-10-14T14:50:06Z) - Monogamy of entanglement between cones [68.8204255655161]
モノガミーは量子論の特徴であるだけでなく、凸錐の一般対の極小テンソル積を特徴づけることを示した。
我々の証明は、アフィン同値まで単純化された生成物の新たな特徴を生かしている。
論文 参考訳（メタデータ） (2022-06-23T16:23:59Z) - On the speed of uniform convergence in Mercer's theorem [6.028247638616059]
コンパクト集合上の連続正定核 $K(mathbf x, mathbf y)$ は $sum_i=1infty lambda_iphi_i(mathbf x)phi_i(mathbf y)$ と表すことができ、$(lambda_i,phi_i)$ は対応する積分作用素の固有値-固有ベクトル対である。
固有値の減衰速度からこの収束速度を推定し、300万ドルで証明する。
論文 参考訳（メタデータ） (2022-05-01T15:07:57Z) - Uncertainties in Quantum Measurements: A Quantum Tomography [52.77024349608834]
量子系 $S$ に関連する可観測物は非可換代数 $mathcal A_S$ を形成する。
密度行列 $rho$ は可観測物の期待値から決定できると仮定される。
アーベル代数は内部自己同型を持たないので、測定装置は可観測物の平均値を決定することができる。
論文 参考訳（メタデータ） (2021-12-14T16:29:53Z) - Topological entanglement and hyperbolic volume [1.1909611351044664]
チャーン・サイモンズ理論は、還元密度行列の$m$-モーメントを3次元多様体の$Z(M_mathcalK_m)$として視覚化する設定を与える。
SU(2) 群に対して、$Z(M_mathcalK_m)$ は、おもに$k$ で成長できることを示す。
我々は、$ln Z(M_mathcalK_m)$が結び目の双曲体積$S3backslash mathcalK_mであると予想する。
論文 参考訳（メタデータ） (2021-06-07T07:51:03Z) - Linear Bandits on Uniformly Convex Sets [88.3673525964507]
線形バンディットアルゴリズムはコンパクト凸作用集合上の $tildemathcalo(nsqrtt)$ pseudo-regret 境界を与える。
2種類の構造的仮定は、より良い擬似回帰境界をもたらす。
論文 参考訳（メタデータ） (2021-03-10T07:33:03Z) - Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and
ReLUs under Gaussian Marginals [49.60752558064027]
ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。
我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
論文 参考訳（メタデータ） (2020-06-29T17:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。