論文の概要: eVAE: Evolutionary Variational Autoencoder

• arxiv url: http://arxiv.org/abs/2301.00011v1
• Date: Sun, 1 Jan 2023 23:54:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 13:51:05.636088
• Title: eVAE: Evolutionary Variational Autoencoder
• Title（参考訳）: eVAE:進化的変分オートエンコーダ
• Authors: Zhangkai Wu and Longbing Cao and Lei Qi
• Abstract要約: 変動情報ボトルネック(VIB)理論に基づく進化的変分オートエンコーダ(eVAE)の構築を提案する。 eVAEは変異遺伝的アルゴリズムを、変異突然変異、交叉、進化を含む変異進化演算子とVAEに統合する。 eVAEは、コンペティターよりもコンペティターのリコンストラクションロス、アンタングル、ジェネレーション-推論バランスが向上する。
• 参考スコア（独自算出の注目度）: 40.29009643819948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The surrogate loss of variational autoencoders (VAEs) poses various challenges to their training, inducing the imbalance between task fitting and representation inference. To avert this, the existing strategies for VAEs focus on adjusting the tradeoff by introducing hyperparameters, deriving a tighter bound under some mild assumptions, or decomposing the loss components per certain neural settings. VAEs still suffer from uncertain tradeoff learning.We propose a novel evolutionary variational autoencoder (eVAE) building on the variational information bottleneck (VIB) theory and integrative evolutionary neural learning. eVAE integrates a variational genetic algorithm into VAE with variational evolutionary operators including variational mutation, crossover, and evolution. Its inner-outer-joint training mechanism synergistically and dynamically generates and updates the uncertain tradeoff learning in the evidence lower bound (ELBO) without additional constraints. Apart from learning a lossy compression and representation of data under the VIB assumption, eVAE presents an evolutionary paradigm to tune critical factors of VAEs and deep neural networks and addresses the premature convergence and random search problem by integrating evolutionary optimization into deep learning. Experiments show that eVAE addresses the KL-vanishing problem for text generation with low reconstruction loss, generates all disentangled factors with sharp images, and improves the image generation quality,respectively. eVAE achieves better reconstruction loss, disentanglement, and generation-inference balance than its competitors.
• Abstract（参考訳）: 可変オートエンコーダ(VAE)のサロゲート損失は、タスクフィッティングと表現推論の不均衡を誘発し、トレーニングに様々な課題をもたらす。 これを回避するために、vaesの既存の戦略は、ハイパーパラメータの導入、いくつかの穏やかな仮定の下でのより厳密なバウンドの導出、あるいは特定の神経設定における損失コンポーネントの分解によるトレードオフの調整に焦点を当てている。 VAEはいまだ不確実なトレードオフ学習に悩まされており、変動情報ボトルネック(VIB)理論と統合進化的ニューラルラーニングに基づく進化的変分オートエンコーダ(eVAE)の構築を提案する。 eVAEは変異遺伝的アルゴリズムを、変異突然変異、交叉、進化を含む変異進化演算子とVAEに統合する。 その内外結合学習機構は、追加の制約なしに、エビデンスローバウンド(ELBO)における不確実なトレードオフ学習を相乗的かつ動的に生成し、更新する。 vib仮定の下でデータの損失圧縮と表現を学ぶこととは別に、evaeはvaesとディープニューラルネットワークの重要な要素をチューニングする進化的パラダイムを示し、進化的最適化をディープラーニングに統合することで、未熟な収束とランダム探索問題に対処する。 実験の結果,eVAEは低再構成損失のテキスト生成におけるKL-vanishing問題に対処し,シャープな画像を含むすべての不整合因子を生成し,画像の質を向上させる。 evaeは、コンストラクションの損失、絡み合い、世代間バランスを競合相手よりも向上させる。

関連論文リスト

• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Advancing Brain Imaging Analysis Step-by-step via Progressive Self-paced Learning [0.5840945370755134]
  適応型・進行型ペーシング・蒸留機構を応用したPSPD(Progressive Self-Paced Distillation)フレームワークを提案する。 我々は、アルツハイマー病神経画像イニシアチブ(ADNI)データセットを用いて、様々な畳み込みニューラルネットワークにおけるPSPDの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2024-07-23T02:26:04Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution Strategies [50.10277748405355]
  Noise-Reuse Evolution Strategies (NRES) は、非バイアスのオンライン進化戦略の一般的なクラスである。 NRESの結果は既存のAD法やES法よりも早く,様々なアプリケーションにまたがるウォールクロック時間とステップ数で収束することを示す。
  論文  参考訳（メタデータ） (2023-04-21T17:53:05Z)
• Sparse Mutation Decompositions: Fine Tuning Deep Neural Networks with Subspace Evolution [0.0]
  進化戦略と呼ばれる、神経進化的手法の一般的なサブクラスは、ネットワークを変異させるために高密度ノイズ摂動に依存している。 低次元部分空間に高密度な突然変異を分解することでこの問題を緩和するアプローチを導入する。 我々は、非常に難しいImageNetデータセット上で、神経進化的微調整とアンサンブルを初めて大規模に探索する。
  論文  参考訳（メタデータ） (2023-02-12T01:27:26Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)
• IE-GAN: An Improved Evolutionary Generative Adversarial Network Using a New Fitness Function and a Generic Crossover Operator [20.100388977505002]
  我々は、新しいフィットネス機能と汎用クロスオーバー演算子を導入するIE-GANと呼ばれる改良されたE-GANフレームワークを提案する。 特に、提案されたフィットネス機能は、個人の進化過程をより正確にモデル化することができる。 進化アルゴリズムで一般的に採用されているクロスオーバー演算子は、子孫が両親の優れた遺伝子発現を模倣することができる。
  論文  参考訳（メタデータ） (2021-07-25T13:55:07Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。