論文の概要: Beta-VAE has 2 Behaviors: PCA or ICA?

• arxiv url: http://arxiv.org/abs/2303.14430v1
• Date: Sat, 25 Mar 2023 10:34:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 19:42:06.663214
• Title: Beta-VAE has 2 Behaviors: PCA or ICA?
• Title（参考訳）: Beta-VAEには2つの挙動がある。
• Authors: Zhouzheng Li and Hao Liu
• Abstract要約: ネットワークが学習した表現に,潜伏変数の総量が影響を及ぼすことを示す。 我々の仮定は、最も情報帯域幅の大きい変数の競合が、この現象を招きかねないというものである。
• 参考スコア（独自算出の注目度）: 5.186101123502827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Beta-VAE is a very classical model for disentangled representation learning, the use of an expanding bottleneck that allow information into the decoder gradually is key to representation disentanglement as well as high-quality reconstruction. During recent experiments on such fascinating structure, we discovered that the total amount of latent variables can affect the representation learnt by the network: with very few latent variables, the network tend to learn the most important or principal variables, acting like a PCA; with very large numbers of latent variables, the variables tend to be more disentangled, and act like an ICA. Our assumption is that the competition between latent variables while trying to gain the most information bandwidth can lead to this phenomenon.
• Abstract（参考訳）: β-VAEは非常に古典的な表現学習モデルであり、デコーダへの情報を徐々に拡張するボトルネックを利用することが、表現の切り離しと高品質な再構築の鍵となる。 このような興味深い構造に関する最近の実験で、潜伏変数の総量がネットワークによって学習された表現に影響を与えることが判明した: 潜伏変数が非常に少ないため、ネットワークはPCAのように振る舞う最も重要な変数や主変数を学習する傾向にあり、非常に多くの潜伏変数では、変数はより絡み合っており、ICAのように振る舞う傾向がある。 我々の仮定では、最も情報帯域幅の大きい変数の競合は、この現象を引き起こす可能性がある。

関連論文リスト

• Learning Discretized Bayesian Networks with GOMEA [0.0]
  我々は、可変離散化を共同学習するために、既存の最先端構造学習アプローチを拡張した。 これにより、専門家の知識をユニークな洞察に富んだ方法で組み込むことができ、複雑性、正確性、および事前に決定された専門家ネットワークとの差異をトレードオフする複数のDBNを見つけることができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T14:29:35Z)
• PAVI: Plate-Amortized Variational Inference [55.975832957404556]
  数百人の被験者のコホート上で何百万もの計測が行われる大集団研究において、推論は困難である。 この大きな濃度は、オフザシェルフ変分推論(VI)を計算的に非現実的である。 本研究では,大集団研究に効率よく取り組む構造VIファミリーを設計する。
  論文  参考訳（メタデータ） (2023-08-30T13:22:20Z)
• The Transitive Information Theory and its Application to Deep Generative Models [0.0]
  変分オートエンコーダ(VAE)は2つの反対方向に押される。 既存の方法では、圧縮と再構成の間のレート歪みのトレードオフに問題を絞り込む。 一般化のために学習した表現を再結合する機構とともに,非交叉表現の階層構造を学習するシステムを開発する。
  論文  参考訳（メタデータ） (2022-03-09T22:35:02Z)
• Interpretable Latent Variables in Deep State Space Models [4.884336328409872]
  我々は、時系列データを予測するために、リカレントニューラルネットワークと状態空間フレームワークを組み合わせたディープステートスペースモデル(DSSM)の新バージョンを導入する。 このモデルは、観測された系列を、時間を通して非線形に進化する潜在変数の関数として推定する。
  論文  参考訳（メタデータ） (2022-03-03T23:10:58Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Be More Active! Understanding the Differences between Mean and Sampled Representations of Variational Autoencoders [6.68999512375737]
  不整合表現を学習する変分オートエンコーダの能力は、実践的な応用にアピールしている。 下流のタスクに一般的に使用される平均表現は、最近、サンプリングされたタスクよりも相関が強いことが示されている。 その結果, 受動的変数は, 平均表現において他の変数と高い相関値を示し, サンプルでは相関関係が全くないことがわかった。
  論文  参考訳（メタデータ） (2021-09-26T19:04:57Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Laplacian Denoising Autoencoder [114.21219514831343]
  本稿では,新しいタイプの自動符号化器を用いてデータ表現を学習することを提案する。 勾配領域における潜伏クリーンデータを破損させて雑音入力データを生成する。 いくつかのビジュアルベンチマークの実験では、提案されたアプローチでより良い表現が学べることが示されている。
  論文  参考訳（メタデータ） (2020-03-30T16:52:39Z)
• Disentanglement by Nonlinear ICA with General Incompressible-flow Networks (GIN) [30.74691299906988]
  表現学習の中心的な問題は、任意の複雑な生成過程の真の潜伏変数をどの条件で再構築できるかを問うものである。 Khehemらによる非線形ICAに関する最近の画期的な研究は、この疑問に幅広い条件生成過程のクラスで答えている。 我々は、この重要な結果を現実世界のデータへの応用に関係した方向に拡張する。
  論文  参考訳（メタデータ） (2020-01-14T16:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。