論文の概要: Learning Discrete Structured Variational Auto-Encoder using Natural Evolution Strategies

• arxiv url: http://arxiv.org/abs/2205.01324v1
• Date: Tue, 3 May 2022 06:21:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 13:40:10.944165
• Title: Learning Discrete Structured Variational Auto-Encoder using Natural Evolution Strategies
• Title（参考訳）: 自然進化戦略を用いた離散構造変分オートエンコーダの学習
• Authors: Alon Berliner, Guy Rotman, Yossi Adi, Roi Reichart, Tamir Hazan
• Abstract要約: 我々は、勾配のないブラックボックス最適化アルゴリズムのクラスであるNatural Evolution Strategies (NES) を用いて、離散的構造化されたVAEを学習する。 NESアルゴリズムは、フォワードパス評価のみで勾配を推定するので、計算的に魅力的である。 NES を用いた離散構造型VAE の最適化は勾配に基づく近似と同じくらい効果的であることを示す。
• 参考スコア（独自算出の注目度）: 40.401462193815796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete variational auto-encoders (VAEs) are able to represent semantic latent spaces in generative learning. In many real-life settings, the discrete latent space consists of high-dimensional structures, and propagating gradients through the relevant structures often requires enumerating over an exponentially large latent space. Recently, various approaches were devised to propagate approximated gradients without enumerating over the space of possible structures. In this work, we use Natural Evolution Strategies (NES), a class of gradient-free black-box optimization algorithms, to learn discrete structured VAEs. The NES algorithms are computationally appealing as they estimate gradients with forward pass evaluations only, thus they do not require to propagate gradients through their discrete structures. We demonstrate empirically that optimizing discrete structured VAEs using NES is as effective as gradient-based approximations. Lastly, we prove NES converges for non-Lipschitz functions as appear in discrete structured VAEs.
• Abstract（参考訳）: 離散変分オートエンコーダ(VAE)は、生成学習において意味的な潜在空間を表現することができる。 多くの実生活において、離散潜在空間は高次元構造で構成され、関連する構造を伝播する勾配は指数関数的に大きい潜在空間を数えることを必要とすることが多い。 近年, 可能な構造空間を列挙することなく, 近似勾配を伝播する様々な手法が考案された。 本研究では,勾配なしブラックボックス最適化アルゴリズムのクラスである自然進化戦略(nes)を用いて離散構造vaesを学習する。 NESアルゴリズムは、フォワードパス評価のみで勾配を推定するので、離散構造を通して勾配を伝播する必要がないため、計算的に魅力的である。 NES を用いた離散構造型VAE の最適化は勾配に基づく近似と同じくらい効果的であることを示す。 最後に、離散構造付きVAEに現れるような非Lipschitz関数に対するNES収束を証明した。

関連論文リスト

• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• GFlowNet-EM for learning compositional latent variable models [115.96660869630227]
  ラテントの後方のモデリングにおける重要なトレードオフは、表現性とトラクタブルな最適化の間にある。 非正規化密度からサンプリングするアルゴリズムであるGFlowNetsを提案する。 GFlowNetsをトレーニングして、後部から潜伏者へのサンプルをトレーニングすることにより、それらの強度をアモータライズされた変分アルゴリズムとして活用する。
  論文  参考訳（メタデータ） (2023-02-13T18:24:21Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Leveraging Recursive Gumbel-Max Trick for Approximate Inference in Combinatorial Spaces [4.829821142951709]
  構造化潜在変数は、深層学習モデルに意味のある事前知識を組み込むことができる。 標準的な学習手法は、潜伏変数をアルゴリズム出力として定義し、訓練に微分可能な代理語を使用することである。 我々は、Gumbel-Maxトリックを拡張して、構造化領域上の分布を定義する。
  論文  参考訳（メタデータ） (2021-10-28T12:46:10Z)
• Natural Evolutionary Strategies for Variational Quantum Computation [0.7874708385247353]
  自然進化戦略 (NES) は勾配のないブラックボックス最適化アルゴリズムの一群である。 本研究では、無作為化パラメトリゼーション量子回路(PQC)の減衰勾配領域における最適化への応用について述べる。
  論文  参考訳（メタデータ） (2020-11-30T21:23:38Z)
• Randomized Automatic Differentiation [22.95414996614006]
  我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。 RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。 本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:03:44Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。