論文の概要: Constraining Variational Inference with Geometric Jensen-Shannon
Divergence
- arxiv url: http://arxiv.org/abs/2006.10599v3
- Date: Mon, 4 Jan 2021 12:33:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 12:47:37.098325
- Title: Constraining Variational Inference with Geometric Jensen-Shannon
Divergence
- Title（参考訳）: 幾何学的jensen-shannon発散による変分推論の制約
- Authors: Jacob Deasy, Nikola Simidjievski, Pietro Li\`o
- Abstract要約: 本稿では,スキュー幾何学的Jensen-Shannon divergence $left(textrmJStextrmG_alpharight)$をベースとした正規化機構を提案する。
制限されたケースによって動機づけられた$textrmJStextrmG_alpha$のバリエーションは、分布と発散の両方の空間における前方KLと後方KLの間に直感的な関係をもたらす。
- 参考スコア（独自算出の注目度）: 6.506991840948217
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We examine the problem of controlling divergences for latent space
regularisation in variational autoencoders. Specifically, when aiming to
reconstruct example $x\in\mathbb{R}^{m}$ via latent space $z\in\mathbb{R}^{n}$
($n\leq m$), while balancing this against the need for generalisable latent
representations. We present a regularisation mechanism based on the
skew-geometric Jensen-Shannon divergence
$\left(\textrm{JS}^{\textrm{G}_{\alpha}}\right)$. We find a variation in
$\textrm{JS}^{\textrm{G}_{\alpha}}$, motivated by limiting cases, which leads
to an intuitive interpolation between forward and reverse KL in the space of
both distributions and divergences. We motivate its potential benefits for VAEs
through low-dimensional examples, before presenting quantitative and
qualitative results. Our experiments demonstrate that skewing our variant of
$\textrm{JS}^{\textrm{G}_{\alpha}}$, in the context of
$\textrm{JS}^{\textrm{G}_{\alpha}}$-VAEs, leads to better reconstruction and
generation when compared to several baseline VAEs. Our approach is entirely
unsupervised and utilises only one hyperparameter which can be easily
interpreted in latent space.
- Abstract（参考訳）: 変分オートエンコーダにおける潜在空間正規化のための発散制御の問題について検討する。
具体的には、例 $x\in\mathbb{R}^{m}$ via latent space $z\in\mathbb{R}^{n}$$n\leq m$ を再構成しようとするとき、これを一般化可能な潜在表現の必要性とバランスさせる。
本稿では、スキュー幾何学的Jensen-Shannon divergence $\left(\textrm{JS}^{\textrm{G}_{\alpha}}\right)$に基づく正規化機構を提案する。
限定的なケースによって動機付けられた$\textrm{js}^{\textrm{g}_{\alpha}}$ のバリエーションを見いだすと、分布と発散の両方の空間における前方と逆klの直観的な補間につながる。
定量的および定性的な結果を示す前に、低次元の例を通してVAEに対する潜在的な利点を動機づける。
我々の実験では、$\textrm{js}^{\textrm{g}_{\alpha}}$の文脈で、$\textrm{js}^{\textrm{g}_{\alpha}}$-vaesの変形を歪めれば、いくつかのベースラインのvaeと比較して、より優れた再構築と生成につながることが示されています。
我々のアプローチは完全に教師なしであり、潜在空間で容易に解釈できる1つのハイパーパラメータのみを利用する。
関連論文リスト
- Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。
本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-01T17:59:53Z) - Monge-Kantorovich Fitting With Sobolev Budgets [6.748324975906262]
近似の性能をMonge-Kantorovich $p$-costで定量化する。
次に、ソボレフ予算の制約の下で、機能的$mathscrJ_p(f)$を最小化するものとして問題を再構築する。
論文 参考訳（メタデータ） (2024-09-25T01:30:16Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Convergence of Gradient Descent with Small Initialization for
Unregularized Matrix Completion [21.846732043706318]
バニラ勾配降下は、明示的な正則化を必要とせず、必ず基底真理$rmXstar$に収束することを示す。
驚くべきことに、収束率も最終的な精度もオーバーパラメータ化された検索ランク$r'$に依存しておらず、それらは真のランク$r$によってのみ支配される。
論文 参考訳（メタデータ） (2024-02-09T19:39:23Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - Learning the optimal regularizer for inverse problems [1.763934678295407]
線形逆問題 $y=Ax+epsilon$ を考えると、$Acolon Xto Y$ は分離可能なヒルベルト空間 $X$ と $Y$ の間の既知の線型作用素である。
この設定は、デノイング、デブロアリング、X線トモグラフィーなど、画像のいくつかの逆問題を含んでいる。
古典的な正規化の枠組みの中では、正規化関数が優先順位を与えられず、データから学習される場合に焦点を当てる。
論文 参考訳（メタデータ） (2021-06-11T17:14:27Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。