論文の概要: Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network

• arxiv url: http://arxiv.org/abs/2304.12770v2
• Date: Sat, 3 Feb 2024 03:21:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 06:56:16.754424
• Title: Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network
• Title（参考訳）: デコーダネットワーク上の逆リプシッツ制約による後部崩壊の制御
• Authors: Yuri Kinoshita, Kenta Oono, Kenji Fukumizu, Yuichi Yoshida, Shin-ichi Maeda
• Abstract要約: 変分オートエンコーダ(VAE)は、過去数十年にわたって大きな成功を収めてきた深層生成モデルの1つである。 VAEは後部崩壊と呼ばれる問題に悩まされ、エンコーダが故障した時に発生する。 逆リプシッツニューラルネットワークをデコーダに導入し、このアーキテクチャに基づいて、後方崩壊の度合いをシンプルで明確な方法で制御できる新しい方法を提案する。
• 参考スコア（独自算出の注目度）: 37.43129242269175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational autoencoders (VAEs) are one of the deep generative models that have experienced enormous success over the past decades. However, in practice, they suffer from a problem called posterior collapse, which occurs when the encoder coincides, or collapses, with the prior taking no information from the latent structure of the input data into consideration. In this work, we introduce an inverse Lipschitz neural network into the decoder and, based on this architecture, provide a new method that can control in a simple and clear manner the degree of posterior collapse for a wide range of VAE models equipped with a concrete theoretical guarantee. We also illustrate the effectiveness of our method through several numerical experiments.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は、過去数十年で大きな成功を収めてきた深層生成モデルの1つである。 しかし、実際には、エンコーダが一致したり、あるいは崩壊した場合に発生する後方崩壊と呼ばれる問題に苦しんでおり、前者は入力データの潜在構造からの情報を取得していない。 本研究では,デコーダに逆リプシッツニューラルネットワークを導入し,このアーキテクチャに基づいて,具体的な理論的保証を備えた多種多様なVAEモデルに対する後方崩壊の度合いを,単純かつ明確な方法で制御できる新しい手法を提案する。 また,いくつかの数値実験により,本手法の有効性を示す。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders [25.61363481391964]
  変分オートエンコーダ(VAE)における後部崩壊現象は、学習された潜伏変数の品質を妨げうる。 本研究では, 後部崩壊の理論的理解を, 条件付きVAEと階層型VAEの2つの重要な, 広く普及しているがあまり研究されていないクラスに進める。
  論文  参考訳（メタデータ） (2023-06-08T08:22:27Z)
• Making Reconstruction-based Method Great Again for Video Anomaly Detection [64.19326819088563]
  ビデオの異常検出は重要な問題だが、難しい問題だ。 既存の再構成に基づく手法は、昔ながらの畳み込みオートエンコーダに依存している。 連続フレーム再構築のための新しいオートエンコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-28T01:57:57Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Variational Autoencoders: A Harmonic Perspective [79.49579654743341]
  本研究では,高調波解析の観点から変分オートエンコーダ(VAE)について検討する。 VAEのエンコーダ分散は、VAEエンコーダとデコーダニューラルネットワークによってパラメータ化された関数の周波数内容を制御する。
  論文  参考訳（メタデータ） (2021-05-31T10:39:25Z)
• A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
  新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。 結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。 新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
  論文  参考訳（メタデータ） (2020-06-25T13:25:10Z)
• Variance Constrained Autoencoding [0.0]
  エンコーダの場合、同時に分布制約を強制し、出力歪みを最小化しようとすると、生成的および再構成的品質が低下することを示す。 本稿では,分散制約のみを適用した分散制約付きオートエンコーダ(VCAE)を提案する。 実験の結果,VCAEは,MNISTとCelebAの再構成および生成品質において,ワッサースタインオートエンコーダと変分オートエンコーダを改良することがわかった。
  論文  参考訳（メタデータ） (2020-05-08T00:50:50Z)
• Sparse aNETT for Solving Inverse Problems with Deep Learning [2.5234156040689237]
  逆問題を解決するためのスパース再構成フレームワーク(aNETT)を提案する。 非線形スペーシング変換として機能するオートエンコーダネットワーク$D circ E$をトレーニングする。 スパースCTでは数値的な結果が得られた。
  論文  参考訳（メタデータ） (2020-04-20T18:43:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。