論文の概要: Learning Sparse Codes with Entropy-Based ELBOs

• arxiv url: http://arxiv.org/abs/2311.01888v2
• Date: Tue, 9 Apr 2024 18:23:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 19:15:52.572886
• Title: Learning Sparse Codes with Entropy-Based ELBOs
• Title（参考訳）: エントロピーに基づくELBOを用いたスパース符号の学習
• Authors: Dmytro Velychko, Simon Damm, Asja Fischer, Jörg Lücke,
• Abstract要約: 標準スパース符号のパラメータに対してのみエントロピーに基づく学習目標を導出する。 A)MAP近似とは異なり、確率的推論には非自明な後続近似を用いる。
• 参考スコア（独自算出の注目度）: 13.906627869457232
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Standard probabilistic sparse coding assumes a Laplace prior, a linear mapping from latents to observables, and Gaussian observable distributions. We here derive a solely entropy-based learning objective for the parameters of standard sparse coding. The novel variational objective has the following features: (A) unlike MAP approximations, it uses non-trivial posterior approximations for probabilistic inference; (B) unlike for previous non-trivial approximations, the novel objective is fully analytical; and (C) the objective allows for a novel principled form of annealing. The objective is derived by first showing that the standard ELBO objective converges to a sum of entropies, which matches similar recent results for generative models with Gaussian priors. The conditions under which the ELBO becomes equal to entropies are then shown to have analytical solutions, which leads to the fully analytical objective. Numerical experiments are used to demonstrate the feasibility of learning with such entropy-based ELBOs. We investigate different posterior approximations including Gaussians with correlated latents and deep amortized approximations. Furthermore, we numerically investigate entropy-based annealing which results in improved learning. Our main contributions are theoretical, however, and they are twofold: (1) for non-trivial posterior approximations, we provide the (to the knowledge of the authors) first analytical ELBO objective for standard probabilistic sparse coding; and (2) we provide the first demonstration on how a recently shown convergence of the ELBO to entropy sums can be used for learning.
• Abstract（参考訳）: 標準的な確率的スパース符号は、ラプラス、潜在値から可観測値への線型写像、ガウス可観測分布を前提としている。 ここでは,標準スパース符号のパラメータに対してのみエントロピーに基づく学習目標を導出する。 A)MAP近似とは異なり、確率的推論に非自明な後続近似を用い、(B)従来の非自明な近似とは異なり、新規目的は完全に分析的であり、(C)この目的は新規な原理的アニーリングを許容する。 この目的は、まず標準ELBOの目的がエントロピーの和に収束することを示し、これはガウス以前の生成モデルと同様の結果と一致する。 ELBOがエントロピーと等しくなる条件は解析解を持つことが示され、完全な解析目的が導かれる。 数値実験は、そのようなエントロピーに基づくELBOを用いた学習の実現可能性を示すために用いられる。 関連する潜伏剤と深部償却近似を含む後部近似について検討した。 さらに,エントロピーに基づくアニーリングを数値的に検討し,学習の改善を図った。 しかし,本研究の主な貢献は理論的であり,(1)非自明な後続近似に対しては,(著者の知識に)標準確率的スパース符号化のための最初の解析的ELBO目標,(2)最近示されたELBOのエントロピー和への収束を学習に利用するための最初のデモを提供する。

関連論文リスト

• Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
  I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。 帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。 本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。 第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
  論文  参考訳（メタデータ） (2024-08-03T13:37:40Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• On the Convergence of the ELBO to Entropy Sums [3.345575993695074]
  変分下界は、すべての定常的な学習点においてエントロピーの和に等しいことを示す。 非常に大きな生成モデルのクラスでは、変分下界は全ての定常的な学習点である。
  論文  参考訳（メタデータ） (2022-09-07T11:33:32Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Posterior-Aided Regularization for Likelihood-Free Inference [23.708122045184698]
  後補助正規化(PAR)は,モデル構造に関係なく,密度推定器の学習に適用可能である。 単一のニューラルネットワークを用いて逆KL項と相互情報項の両方を推定するPARの統一推定方法を提供する。
  論文  参考訳（メタデータ） (2021-02-15T16:59:30Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• The ELBO of Variational Autoencoders Converges to a Sum of Three Entropies [16.119724102324934]
  変分オートエンコーダ(VAE)の主目的関数はその変分下界(ELBO)である ここでは、標準(つまりガウス)の VAE に対して、ELBO は3つのエントロピーの和によって与えられる値に収束することを示す。 抽出した解析結果は正確であり、エンコーダとデコーダの複雑なディープネットワークにも適用できる。
  論文  参考訳（メタデータ） (2020-10-28T10:13:28Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。