論文の概要: Beta-VAE Reproducibility: Challenges and Extensions
- arxiv url: http://arxiv.org/abs/2112.14278v1
- Date: Tue, 28 Dec 2021 19:33:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-31 02:07:07.235407
- Title: Beta-VAE Reproducibility: Challenges and Extensions
- Title(参考訳): Beta-VAEの再現性 - 課題と拡張
- Authors: Miroslav Fil, Munib Mesinovic, Matthew Morris, Jonas Wildberger
- Abstract要約: $beta$-VAEは変分オートエンコーダのフォローアップ手法であり、VAE損失におけるKL発散項の特別な重み付けを提案し、不整合表現を得る。
教師なし学習は、おもちゃのデータセットでも脆弱であることが知られている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: $\beta$-VAE is a follow-up technique to variational autoencoders that
proposes special weighting of the KL divergence term in the VAE loss to obtain
disentangled representations. Unsupervised learning is known to be brittle even
on toy datasets and a meaningful, mathematically precise definition of
disentanglement remains difficult to find. Here we investigate the original
$\beta$-VAE paper and add evidence to the results previously obtained
indicating its lack of reproducibility. We also further expand the
experimentation of the models and include further more complex datasets in the
analysis. We also implement an FID scoring metric for the $\beta$-VAE model and
conclude a qualitative analysis of the results obtained. We end with a brief
discussion on possible future investigations that can be conducted to add more
robustness to the claims.
- Abstract(参考訳): $\beta$-VAEは変分オートエンコーダの追従手法であり、VAE損失におけるKL発散項の特殊重み付けを提案し、不整合表現を得る。
教師なし学習はおもちゃのデータセット上でも不安定であることが知られており、意味のある数学的に正確な乱れの定義を見つけることは難しい。
ここでは,元の$\beta$-VAE論文を調査し,再現性の欠如を示す結果に証拠を加える。
また、モデルの実験をさらに拡張し、分析にさらに複雑なデータセットを含める。
また、$\beta$-VAEモデルに対してFIDスコアリング尺度を実装し、得られた結果の質的分析を結論付ける。
最後に,請求にさらなる堅牢性を加えるために実施可能な今後の調査について,簡単な議論を行う。
関連論文リスト
- $t^3$-Variational Autoencoder: Learning Heavy-tailed Data with Student's
t and Power Divergence [7.0479532872043755]
$t3$VAEは、学生のt-distributionsを前者、エンコーダ、デコーダに組み込んだ改良されたVAEフレームワークである。
t3$VAE は CelebA や不均衡な CIFAR-100 データセットにおいて,他のモデルよりも大幅に優れていた。
論文 参考訳(メタデータ) (2023-12-02T13:14:28Z) - DA-VEGAN: Differentiably Augmenting VAE-GAN for microstructure
reconstruction from extremely small data sets [110.60233593474796]
DA-VEGANは2つの中心的なイノベーションを持つモデルである。
$beta$-variational autoencoderはハイブリッドGANアーキテクチャに組み込まれている。
このアーキテクチャに特化して、独自の差別化可能なデータ拡張スキームが開発されている。
論文 参考訳(メタデータ) (2023-02-17T08:49:09Z) - How Much Data Are Augmentations Worth? An Investigation into Scaling
Laws, Invariance, and Implicit Regularization [76.58017437197859]
アウト・オブ・ディストリビューションテストのシナリオでは、多種多様なサンプルを生成するが、データ分散と矛盾しない増分は、追加のトレーニングデータよりもさらに価値がある。
トレーニング中に増強が付加性をもたらし、損失景観を効果的に平らにすることを示す。
論文 参考訳(メタデータ) (2022-10-12T17:42:01Z) - Leveraging variational autoencoders for multiple data imputation [0.5156484100374059]
本稿では,複数の計算手法を用いて,データ欠落を考慮に入れた深部モデル,すなわち変分オートエンコーダ(VAE)について検討する。
VAEは、過小評価と過信な計算によって、欠落したデータの経験的カバレッジを低くすることがわかった。
これを克服するために、一般化されたベイズフレームワークから見た$beta$-VAEsを用いて、モデルの誤特定に対して堅牢性を提供する。
論文 参考訳(メタデータ) (2022-09-30T08:58:43Z) - Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a
Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。
本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。
本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文 参考訳(メタデータ) (2022-09-29T13:49:57Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳(メタデータ) (2021-09-24T17:37:35Z) - Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。
我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。
CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2021-05-18T15:13:00Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z) - A Generalised Linear Model Framework for $\beta$-Variational
Autoencoders based on Exponential Dispersion Families [0.0]
我々は$beta$-VAEと一般化線形モデル(GLM)の接続に基づく理論的枠組みを導入する。
我々は、観測モデル分布が指数分散族(EDF)に属するという仮定に基づいて、$beta$-VAEの損失解析を体系的に一般化する。
論文 参考訳(メタデータ) (2020-06-11T09:17:22Z) - q-VAE for Disentangled Representation Learning and Latent Dynamical
Systems [8.071506311915396]
q-VAEと呼ばれるTsallis統計から導出される変分オートエンコーダ(VAE)を提案する。
提案手法では,サンプルデータに隠された潜伏空間を統計的に抽出するために標準VAEを用いる。
論文 参考訳(メタデータ) (2020-03-04T01:38:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。