論文の概要: Trading Information between Latents in Hierarchical Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2302.04855v1
• Date: Thu, 9 Feb 2023 18:56:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 14:41:03.822249
• Title: Trading Information between Latents in Hierarchical Variational Autoencoders
• Title（参考訳）: 階層型変分オートエンコーダにおける潜在者間の取引情報
• Authors: Tim Z. Xiao, Robert Bamler
• Abstract要約: 変分オートエンコーダ(VAE)はもともと確率的生成モデルとして動機付けられ、ベイズ推定を近似的に行う。 $beta$-VAEsの提案はこの解釈を破り、VAEを生成モデリング以上のアプリケーションドメインに一般化する。 推論モデルの一般的なクラスを特定し、各レイヤからのコントリビューションにレートを分割し、独立に調整することができる。
• 参考スコア（独自算出の注目度）: 8.122270502556374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Autoencoders (VAEs) were originally motivated (Kingma & Welling, 2014) as probabilistic generative models in which one performs approximate Bayesian inference. The proposal of $\beta$-VAEs (Higgins et al., 2017) breaks this interpretation and generalizes VAEs to application domains beyond generative modeling (e.g., representation learning, clustering, or lossy data compression) by introducing an objective function that allows practitioners to trade off between the information content ("bit rate") of the latent representation and the distortion of reconstructed data (Alemi et al., 2018). In this paper, we reconsider this rate/distortion trade-off in the context of hierarchical VAEs, i.e., VAEs with more than one layer of latent variables. We identify a general class of inference models for which one can split the rate into contributions from each layer, which can then be tuned independently. We derive theoretical bounds on the performance of downstream tasks as functions of the individual layers' rates and verify our theoretical findings in large-scale experiments. Our results provide guidance for practitioners on which region in rate-space to target for a given application.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)はもともと(Kingma & Welling, 2014)、近似ベイズ推論を行う確率的生成モデルとして動機付けられていた。 The proposal of $\beta$-VAEs (Higgins et al., 2017) はこの解釈を破り、VAEを生成的モデリング(例えば、表現学習、クラスタリング、損失データ圧縮)を超えたアプリケーションドメインに一般化し、実践者が潜伏表現の情報コンテンツ(ビットレート)と再構成データの歪み(Alemi et al., 2018)をトレードオフできる客観的関数を導入する。 本稿では,階層的vaes,すなわち,複数の潜在変数層を有するvaesの文脈において,このレート/ゆがみトレードオフを再考する。 我々は、各層からレートを貢献に分割できる一般的な推論モデルのクラスを特定し、それを独立して調整できる。 ダウンストリームタスクの性能に関する理論的境界を各レイヤの速度関数として導出し,大規模実験で理論的知見を検証した。 本研究は,対象とするアプリケーションに対して,どの領域の利率空間を対象とするかを示す。

関連論文リスト

• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
  解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。 我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
  論文  参考訳（メタデータ） (2022-11-15T15:58:56Z)
• FV-UPatches: Enhancing Universality in Finger Vein Recognition [0.6299766708197883]
  限られたデータで学習しながら一般化を実現するユニバーサルラーニングベースのフレームワークを提案する。 提案フレームワークは、他の静脈ベースの生体認証にも応用可能性を示す。
  論文  参考訳（メタデータ） (2022-06-02T14:20:22Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Combining Discrete Choice Models and Neural Networks through Embeddings: Formulation, Interpretability and Performance [10.57079240576682]
  本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。 特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。 我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-09-24T15:55:31Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
  変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T10:26:32Z)
• DeVLBert: Learning Deconfounded Visio-Linguistic Representations [111.93480424791613]
  ドメイン外ビオ言語事前学習の問題点について検討する。 この問題の既存の方法は、純粋に確率ベースである。 介入に基づく学習を行うために,Decon-Linguistic Bertフレームワーク(略称:DeVLBert)を提案する。
  論文  参考訳（メタデータ） (2020-08-16T11:09:22Z)
• NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
  我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。 共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。 共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
  論文  参考訳（メタデータ） (2020-02-26T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。