論文の概要: eVAE: Evolutionary Variational Autoencoder

• arxiv url: http://arxiv.org/abs/2301.00011v1
• Date: Sun, 1 Jan 2023 23:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-01-03 13:51:05.636088
• Title: eVAE: Evolutionary Variational Autoencoder
• Title（参考訳）: eVAE:進化的変分オートエンコーダ
• Authors: Zhangkai Wu and Longbing Cao and Lei Qi
• Abstract要約: 変動情報ボトルネック(VIB)理論に基づく進化的変分オートエンコーダ(eVAE)の構築を提案する。 eVAEは変異遺伝的アルゴリズムを、変異突然変異、交叉、進化を含む変異進化演算子とVAEに統合する。 eVAEは、コンペティターよりもコンペティターのリコンストラクションロス、アンタングル、ジェネレーション-推論バランスが向上する。
• 参考スコア（独自算出の注目度）: 40.29009643819948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The surrogate loss of variational autoencoders (VAEs) poses various challenges to their training, inducing the imbalance between task fitting and representation inference. To avert this, the existing strategies for VAEs focus on adjusting the tradeoff by introducing hyperparameters, deriving a tighter bound under some mild assumptions, or decomposing the loss components per certain neural settings. VAEs still suffer from uncertain tradeoff learning.We propose a novel evolutionary variational autoencoder (eVAE) building on the variational information bottleneck (VIB) theory and integrative evolutionary neural learning. eVAE integrates a variational genetic algorithm into VAE with variational evolutionary operators including variational mutation, crossover, and evolution. Its inner-outer-joint training mechanism synergistically and dynamically generates and updates the uncertain tradeoff learning in the evidence lower bound (ELBO) without additional constraints. Apart from learning a lossy compression and representation of data under the VIB assumption, eVAE presents an evolutionary paradigm to tune critical factors of VAEs and deep neural networks and addresses the premature convergence and random search problem by integrating evolutionary optimization into deep learning. Experiments show that eVAE addresses the KL-vanishing problem for text generation with low reconstruction loss, generates all disentangled factors with sharp images, and improves the image generation quality,respectively. eVAE achieves better reconstruction loss, disentanglement, and generation-inference balance than its competitors.
• Abstract（参考訳）: 可変オートエンコーダ(VAE)のサロゲート損失は、タスクフィッティングと表現推論の不均衡を誘発し、トレーニングに様々な課題をもたらす。 これを回避するために、vaesの既存の戦略は、ハイパーパラメータの導入、いくつかの穏やかな仮定の下でのより厳密なバウンドの導出、あるいは特定の神経設定における損失コンポーネントの分解によるトレードオフの調整に焦点を当てている。 VAEはいまだ不確実なトレードオフ学習に悩まされており、変動情報ボトルネック(VIB)理論と統合進化的ニューラルラーニングに基づく進化的変分オートエンコーダ(eVAE)の構築を提案する。 eVAEは変異遺伝的アルゴリズムを、変異突然変異、交叉、進化を含む変異進化演算子とVAEに統合する。 その内外結合学習機構は、追加の制約なしに、エビデンスローバウンド(ELBO)における不確実なトレードオフ学習を相乗的かつ動的に生成し、更新する。 vib仮定の下でデータの損失圧縮と表現を学ぶこととは別に、evaeはvaesとディープニューラルネットワークの重要な要素をチューニングする進化的パラダイムを示し、進化的最適化をディープラーニングに統合することで、未熟な収束とランダム探索問題に対処する。 実験の結果,eVAEは低再構成損失のテキスト生成におけるKL-vanishing問題に対処し,シャープな画像を含むすべての不整合因子を生成し,画像の質を向上させる。 evaeは、コンストラクションの損失、絡み合い、世代間バランスを競合相手よりも向上させる。

関連論文リスト

• Enhancing Variational Autoencoders with Smooth Robust Latent Encoding [54.74721202894622]
  変分オートエンコーダ(VAE)は拡散に基づく生成モデルをスケールアップする上で重要な役割を果たしている。 Smooth Robust Latent VAEは、世代品質とロバスト性の両方を向上する、新しい対向トレーニングフレームワークである。 実験により、SRL-VAEは、Nightshade攻撃や画像編集攻撃に対して、画像再構成とテキスト誘導画像編集において、生成品質とロバスト性の両方を改善することが示された。
  論文  参考訳（メタデータ） (2025-04-24T03:17:57Z)
• Low Rank Factorizations are Indirect Encodings for Deep Neuroevolution [0.0]
  低ランク化ニューロエボリューション(低ランク化ニューロエボリューション:低ランク化ニューロエボリューション:低ランク化ニューロエボリューション:低ランク化ニューロエボリューション:低ランク化ニューロエボリューション)を導入する。 本稿では,トランスフォーマを用いた言語モデリングタスクと,連続的かつ離散的な視覚に基づく強化学習タスクについて評価する。
  論文  参考訳（メタデータ） (2025-04-03T21:31:48Z)
• Evolution-based Region Adversarial Prompt Learning for Robustness Enhancement in Vision-Language Models [52.8949080772873]
  本稿では,ER-APTと呼ばれる進化型領域逆アプティブチューニング手法を提案する。 各トレーニングイテレーションでは、まず従来の勾配法を用いてAEを生成する。 次に、AEsを最適化するために、選択、突然変異、交差を含む遺伝的進化機構を適用する。 最終進化型AEは、従来の単点対向的な高速チューニングの代わりに、地域ベースの対向最適化を実現するために用いられる。
  論文  参考訳（メタデータ） (2025-03-17T07:08:47Z)
• EVOS: Efficient Implicit Neural Training via EVOlutionary Selector [10.985825930928463]
  Evolutionary Selector(EVOS)は、インプシットニューラル表現(INR)の高速化のための効率的な訓練パラダイムである 進化過程において、各サンプルを個人として扱い、最も適したサンプルのみが生き残り、トレーニングに有効に含まれる。 本手法は, トレーニング時間を約48%-66%削減し, 追加コストを伴わず, 優れた収束性を確保した。
  論文  参考訳（メタデータ） (2024-12-13T14:11:42Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Advancing Brain Imaging Analysis Step-by-step via Progressive Self-paced Learning [0.5840945370755134]
  適応型・進行型ペーシング・蒸留機構を応用したPSPD(Progressive Self-Paced Distillation)フレームワークを提案する。 我々は、アルツハイマー病神経画像イニシアチブ(ADNI)データセットを用いて、様々な畳み込みニューラルネットワークにおけるPSPDの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2024-07-23T02:26:04Z)
• Uncertainty in latent representations of variational autoencoders optimized for visual tasks [3.9504737666460037]
  変分オートエンコーダ(VAE)の推論特性について検討する。 従来のコンピュータビジョンからインスピレーションを得て、VAEに誘導バイアスを導入する。 復元された推論能力は、推論ネットワークでモチーフを開発することによって提供される。
  論文  参考訳（メタデータ） (2024-04-23T16:26:29Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution Strategies [50.10277748405355]
  Noise-Reuse Evolution Strategies (NRES) は、非バイアスのオンライン進化戦略の一般的なクラスである。 NRESの結果は既存のAD法やES法よりも早く,様々なアプリケーションにまたがるウォールクロック時間とステップ数で収束することを示す。
  論文  参考訳（メタデータ） (2023-04-21T17:53:05Z)
• Sparse Mutation Decompositions: Fine Tuning Deep Neural Networks with Subspace Evolution [0.0]
  進化戦略と呼ばれる、神経進化的手法の一般的なサブクラスは、ネットワークを変異させるために高密度ノイズ摂動に依存している。 低次元部分空間に高密度な突然変異を分解することでこの問題を緩和するアプローチを導入する。 我々は、非常に難しいImageNetデータセット上で、神経進化的微調整とアンサンブルを初めて大規模に探索する。
  論文  参考訳（メタデータ） (2023-02-12T01:27:26Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)
• IE-GAN: An Improved Evolutionary Generative Adversarial Network Using a New Fitness Function and a Generic Crossover Operator [20.100388977505002]
  我々は、新しいフィットネス機能と汎用クロスオーバー演算子を導入するIE-GANと呼ばれる改良されたE-GANフレームワークを提案する。 特に、提案されたフィットネス機能は、個人の進化過程をより正確にモデル化することができる。 進化アルゴリズムで一般的に採用されているクロスオーバー演算子は、子孫が両親の優れた遺伝子発現を模倣することができる。
  論文  参考訳（メタデータ） (2021-07-25T13:55:07Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。