論文の概要: Constraining Variational Inference with Geometric Jensen-Shannon
Divergence
- arxiv url: http://arxiv.org/abs/2006.10599v3
- Date: Mon, 4 Jan 2021 12:33:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 12:47:37.098325
- Title: Constraining Variational Inference with Geometric Jensen-Shannon
Divergence
- Title(参考訳): 幾何学的jensen-shannon発散による変分推論の制約
- Authors: Jacob Deasy, Nikola Simidjievski, Pietro Li\`o
- Abstract要約: 本稿では,スキュー幾何学的Jensen-Shannon divergence $left(textrmJStextrmG_alpharight)$をベースとした正規化機構を提案する。
制限されたケースによって動機づけられた$textrmJStextrmG_alpha$のバリエーションは、分布と発散の両方の空間における前方KLと後方KLの間に直感的な関係をもたらす。
- 参考スコア(独自算出の注目度): 6.506991840948217
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We examine the problem of controlling divergences for latent space
regularisation in variational autoencoders. Specifically, when aiming to
reconstruct example $x\in\mathbb{R}^{m}$ via latent space $z\in\mathbb{R}^{n}$
($n\leq m$), while balancing this against the need for generalisable latent
representations. We present a regularisation mechanism based on the
skew-geometric Jensen-Shannon divergence
$\left(\textrm{JS}^{\textrm{G}_{\alpha}}\right)$. We find a variation in
$\textrm{JS}^{\textrm{G}_{\alpha}}$, motivated by limiting cases, which leads
to an intuitive interpolation between forward and reverse KL in the space of
both distributions and divergences. We motivate its potential benefits for VAEs
through low-dimensional examples, before presenting quantitative and
qualitative results. Our experiments demonstrate that skewing our variant of
$\textrm{JS}^{\textrm{G}_{\alpha}}$, in the context of
$\textrm{JS}^{\textrm{G}_{\alpha}}$-VAEs, leads to better reconstruction and
generation when compared to several baseline VAEs. Our approach is entirely
unsupervised and utilises only one hyperparameter which can be easily
interpreted in latent space.
- Abstract(参考訳): 変分オートエンコーダにおける潜在空間正規化のための発散制御の問題について検討する。
具体的には、例 $x\in\mathbb{R}^{m}$ via latent space $z\in\mathbb{R}^{n}$$n\leq m$ を再構成しようとするとき、これを一般化可能な潜在表現の必要性とバランスさせる。
本稿では、スキュー幾何学的Jensen-Shannon divergence $\left(\textrm{JS}^{\textrm{G}_{\alpha}}\right)$に基づく正規化機構を提案する。
限定的なケースによって動機付けられた$\textrm{js}^{\textrm{g}_{\alpha}}$ のバリエーションを見いだすと、分布と発散の両方の空間における前方と逆klの直観的な補間につながる。
定量的および定性的な結果を示す前に、低次元の例を通してVAEに対する潜在的な利点を動機づける。
我々の実験では、$\textrm{js}^{\textrm{g}_{\alpha}}$の文脈で、$\textrm{js}^{\textrm{g}_{\alpha}}$-vaesの変形を歪めれば、いくつかのベースラインのvaeと比較して、より優れた再構築と生成につながることが示されています。
我々のアプローチは完全に教師なしであり、潜在空間で容易に解釈できる1つのハイパーパラメータのみを利用する。
関連論文リスト
- Convergence of Gradient Descent with Small Initialization for
Unregularized Matrix Completion [21.846732043706318]
バニラ勾配降下は、明示的な正則化を必要とせず、必ず基底真理$rmXstar$に収束することを示す。
驚くべきことに、収束率も最終的な精度もオーバーパラメータ化された検索ランク$r'$に依存しておらず、それらは真のランク$r$によってのみ支配される。
論文 参考訳(メタデータ) (2024-02-09T19:39:23Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳(メタデータ) (2024-02-06T15:39:09Z) - Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems [61.85150061213987]
一般化線形モデル (GLM) フレームワークを用いて, citelu2021low で提案した一般化低ランク行列帯域問題について検討する。
既存のアルゴリズムの計算不可能性と理論的制約を克服するため,まずG-ESTTフレームワークを提案する。
G-ESTT は $tildeO(sqrt(d_1+d_2)3/2Mr3/2T)$ bound of regret を達成でき、G-ESTS は $tildeO を達成できることを示す。
論文 参考訳(メタデータ) (2024-01-14T14:14:19Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳(メタデータ) (2023-09-25T17:54:19Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳(メタデータ) (2023-02-27T16:34:21Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳(メタデータ) (2022-10-20T21:32:01Z) - The Complexity of Dynamic Least-Squares Regression [11.815510373329337]
動的最小二乗回帰の複雑さ。
ゴールは、$min_mathbfx(t)| mathbfA(t) mathbfb(t) |$ for all $tin に対する $epsilon-approximate ソリューションを維持することである。
論文 参考訳(メタデータ) (2022-01-01T18:36:17Z) - Learning the optimal regularizer for inverse problems [1.763934678295407]
線形逆問題 $y=Ax+epsilon$ を考えると、$Acolon Xto Y$ は分離可能なヒルベルト空間 $X$ と $Y$ の間の既知の線型作用素である。
この設定は、デノイング、デブロアリング、X線トモグラフィーなど、画像のいくつかの逆問題を含んでいる。
古典的な正規化の枠組みの中では、正規化関数が優先順位を与えられず、データから学習される場合に焦点を当てる。
論文 参考訳(メタデータ) (2021-06-11T17:14:27Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳(メタデータ) (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。