論文の概要: Maximum Likelihood Training of Autoencoders
- arxiv url: http://arxiv.org/abs/2306.01843v2
- Date: Wed, 28 Jun 2023 14:43:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 17:31:39.902504
- Title: Maximum Likelihood Training of Autoencoders
- Title（参考訳）: オートエンコーダの最大度トレーニング
- Authors: Peter Sorrenson, Felix Draxler, Armand Rousselot, Sander Hummerich,
Lea Zimmermann and Ullrich K\"othe
- Abstract要約: 本稿では,制約のないオートエンコーダの最大可能性トレーニングを初めて導入する。
既存のフリーフォームネットワークの最大確率推定器は受け入れがたいほど遅い。
自己エンコーダに極大極大を鼻で適用すると、分岐解が導かれることを示す。
- 参考スコア（独自算出の注目度）: 1.942238128675474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Maximum likelihood training has favorable statistical properties and is
popular for generative modeling, especially with normalizing flows. On the
other hand, generative autoencoders promise to be more efficient than
normalizing flows due to the manifold hypothesis. In this work, we introduce
successful maximum likelihood training of unconstrained autoencoders for the
first time, bringing the two paradigms together. To do so, we identify and
overcome two challenges: Firstly, existing maximum likelihood estimators for
free-form networks are unacceptably slow, relying on iteration schemes whose
cost scales linearly with latent dimension. We introduce an improved estimator
which eliminates iteration, resulting in constant cost (roughly double the
runtime per batch of a vanilla autoencoder). Secondly, we demonstrate that
naively applying maximum likelihood to autoencoders can lead to divergent
solutions and use this insight to motivate a stable maximum likelihood training
objective. We perform extensive experiments on toy, tabular and image data,
demonstrating the competitive performance of the resulting model. We call our
model the maximum likelihood autoencoder (MLAE).
- Abstract（参考訳）: 最大度トレーニングは好適な統計特性を持ち、特に正規化フローにおいて生成的モデリングに人気がある。
一方、生成オートエンコーダは多様体仮説による流れの正規化よりも効率的なことを約束している。
本研究では,制約のないオートエンコーダの最大確率トレーニングを初めて導入し,この2つのパラダイムを組み合わせる。
第一に、フリーフォームネットワークのための既存の最大確率推定器は、潜在次元と線形にコストがスケールする反復スキームに依存するため、受け入れがたいほど遅い。
改良された推定器を導入し、イテレーションを排除し、一定のコスト(バニラオートエンコーダのバッチあたりのランタイムの約2倍)をもたらす。
第2に,自動エンコーダに最大限の確率を適用することで,異なる解を導き出すことが可能であり,この知見を用いて安定的な最大確率トレーニング目標を動機付けることを実証する。
我々は,玩具,表,画像データについて広範な実験を行い,その結果の競争性能を実証した。
我々は、我々のモデルを最大可能性オートエンコーダ(MLAE)と呼ぶ。
関連論文リスト
- Expanding Expressiveness of Diffusion Models with Limited Data via
Self-Distillation based Fine-Tuning [24.791783885165923]
限られたデータセット上での拡散モデルの訓練は、限られた生成能力と表現性の観点から問題を引き起こす。
これらの課題に対処するために、SDFT(Self-Distillation for Fine-Tuning diffusion model)を提案する。
論文 参考訳（メタデータ） (2023-11-02T06:24:06Z) - Balancing Act: Constraining Disparate Impact in Sparse Models [20.058720715290434]
本研究では,プルーニングの異なる影響に直接対処する制約付き最適化手法を提案する。
我々の定式化は、各部分群に対する密度モデルとスパースモデルの間の精度変化を束縛する。
実験により,本手法は大規模モデルや数百の保護されたサブグループに関わる問題に対して確実にスケール可能であることが示された。
論文 参考訳（メタデータ） (2023-10-31T17:37:35Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳（メタデータ） (2023-04-05T07:28:33Z) - Wasserstein Distributional Learning [5.830831796910439]
Wasserstein Distributional Learning (WDL)はフレキシブルな密度オンスカラー回帰モデリングフレームワークである。
WDLは, 条件密度の非線形依存性をよりよく特徴付け, 明らかにする。
シミュレーションと実世界の応用を通してWDLフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2022-09-12T02:32:17Z) - Multi-Scale Architectures Matter: On the Adversarial Robustness of
Flow-based Lossless Compression [16.109578069331135]
フローベースモデルは, 優れた確率密度推定と良好な推論速度により, 性能が向上する。
マルチスケールアーキテクチャは、浅い層から出力層へのショートカットを提供する。
マルチスケールアーキテクチャのフローは、コーディングの複雑さと圧縮効率の最良のトレードオフを実現する。
論文 参考訳（メタデータ） (2022-08-26T15:17:43Z) - ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。
摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。
最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文 参考訳（メタデータ） (2022-08-18T16:07:59Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳（メタデータ） (2020-11-14T09:51:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。