論文の概要: Multi-Rate VAE: Train Once, Get the Full Rate-Distortion Curve
- arxiv url: http://arxiv.org/abs/2212.03905v2
- Date: Wed, 16 Aug 2023 19:43:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 20:05:07.382728
- Title: Multi-Rate VAE: Train Once, Get the Full Rate-Distortion Curve
- Title（参考訳）: マルチレートVAE:列車が1回、全速度歪曲する
- Authors: Juhan Bae, Michael R. Zhang, Michael Ruan, Eric Wang, So Hasegawa,
Jimmy Ba, Roger Grosse
- Abstract要約: 変分オートエンコーダ(VAE)は、広範囲のアプリケーションで使用されるデータの潜在表現を学習するための強力なツールである。
本稿では,1回のトレーニングで様々な$beta$に対応する最適なパラメータを学習するための,計算効率のよいフレームワークであるMulti-Rate VAEを紹介する。
- 参考スコア（独自算出の注目度）: 29.86440019821837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational autoencoders (VAEs) are powerful tools for learning latent
representations of data used in a wide range of applications. In practice, VAEs
usually require multiple training rounds to choose the amount of information
the latent variable should retain. This trade-off between the reconstruction
error (distortion) and the KL divergence (rate) is typically parameterized by a
hyperparameter $\beta$. In this paper, we introduce Multi-Rate VAE (MR-VAE), a
computationally efficient framework for learning optimal parameters
corresponding to various $\beta$ in a single training run. The key idea is to
explicitly formulate a response function that maps $\beta$ to the optimal
parameters using hypernetworks. MR-VAEs construct a compact response
hypernetwork where the pre-activations are conditionally gated based on
$\beta$. We justify the proposed architecture by analyzing linear VAEs and
showing that it can represent response functions exactly for linear VAEs. With
the learned hypernetwork, MR-VAEs can construct the rate-distortion curve
without additional training and can be deployed with significantly less
hyperparameter tuning. Empirically, our approach is competitive and often
exceeds the performance of multiple $\beta$-VAEs training with minimal
computation and memory overheads.
- Abstract（参考訳）: variational autoencoder(vaes)は、幅広いアプリケーションで使用されるデータの潜在表現を学ぶための強力なツールである。
実際には、vaesは通常、潜在変数が保持する情報量を選択するために複数のトレーニングラウンドを必要とする。
再構成誤差(歪み)とKL発散率(レート)とのこのトレードオフは通常、ハイパーパラメータ$\beta$でパラメータ化される。
本稿では,1回のトレーニングで,様々な$\beta$に対応する最適パラメータを学習するための計算効率の良いフレームワークであるMulti-Rate VAE(MR-VAE)を紹介する。
重要なアイデアは、$\beta$をハイパーネットワークを使用して最適なパラメータにマッピングする応答関数を明示的に定式化することである。
MR-VAEは、$\beta$に基づいて条件付きでプレアクティベーションをゲートする、コンパクトな応答ハイパーネットワークを構築する。
線形VAEを解析し、線形VAEに対して正確に応答関数を表現できることを示し、提案アーキテクチャを正当化する。
学習されたハイパーネットワークにより、mr-vaesは追加のトレーニングなしでレート分散曲線を構築でき、ハイパーパラメータチューニングをかなり少なくしてデプロイできる。
実証的に、我々のアプローチは競争力があり、最小限の計算とメモリオーバーヘッドで複数の$\beta$-VAEsトレーニングのパフォーマンスを上回ることが多い。
関連論文リスト
- Theoretical Convergence Guarantees for Variational Autoencoders [2.8167997311962942]
変分オートエンコーダ(VAE)は、複雑なデータ分布からサンプリングするために使われる一般的な生成モデルである。
本稿では, グラディエントDescentアルゴリズムとAdamアルゴリズムの両方を用いてトレーニングしたVAEに対して, 非漸近収束保証を提供することにより, このギャップを埋めることを目的とする。
我々の理論的分析は、Linear VAEとDeep Gaussian VAEの両方、および$beta$-VAEやIWAEを含むいくつかのVAEの変種に適用できる。
論文 参考訳（メタデータ） (2024-10-22T07:12:38Z) - Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳（メタデータ） (2023-06-27T05:43:47Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Efficient Parametric Approximations of Neural Network Function Space
Distance [6.117371161379209]
モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。
我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。
本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
論文 参考訳（メタデータ） (2023-02-07T15:09:23Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision
Processes [80.89852729380425]
そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。
我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
論文 参考訳（メタデータ） (2022-12-12T18:58:59Z) - Machine-Learning Compression for Particle Physics Discoveries [4.432585853295899]
コライダーに基づく粒子と核物理学の実験では、データは極端な速度で生成され、後の分析のためにサブセットのみを記録することができる。
汎用オフライン解析のためのイベント全体を圧縮することで,これらのパラダイムをブリッジする戦略を提案する。
論文 参考訳（メタデータ） (2022-10-20T18:00:04Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳（メタデータ） (2022-05-11T17:10:41Z) - Scalable One-Pass Optimisation of High-Dimensional Weight-Update
Hyperparameters by Implicit Differentiation [0.0]
近似的過勾配型ハイパーパラメータオプティマイザを開発した。
トレーニングは1回のみであり、再スタートは行わない。
また、真の過次性への収束を動機づける議論も提供する。
論文 参考訳（メタデータ） (2021-10-20T09:57:57Z) - [Reproducibility Report] Rigging the Lottery: Making All Tickets Winners [1.6884611234933766]
スパーストレーニングアルゴリズムである$textitRigL$は、既存の密集型トレーニング技術のパフォーマンスに適合または超過したスパースネットワークを直接トレーニングする、と主張している。
Pytorchのスクラッチから$textitRigL$を実装し、報告された値の0.1%以内でCIFAR-10のパフォーマンスを再現する。
論文 参考訳（メタデータ） (2021-03-29T17:01:11Z) - Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。
復号分布の不確かさを学習する校正復号器の影響について検討する。
本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
論文 参考訳（メタデータ） (2020-06-23T17:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。