論文の概要: Dataset Size Dependence of Rate-Distortion Curve and Threshold of Posterior Collapse in Linear VAE

• arxiv url: http://arxiv.org/abs/2309.07663v1
• Date: Thu, 14 Sep 2023 12:27:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 14:56:13.666414
• Title: Dataset Size Dependence of Rate-Distortion Curve and Threshold of Posterior Collapse in Linear VAE
• Title（参考訳）: リニアvaeにおけるレート歪曲線のデータセットサイズ依存性と後方崩壊閾値
• Authors: Yuma Ichikawa and Koji Hukushima
• Abstract要約: 変分オートエンコーダ(VAE)では、変分後部はしばしば前部と密接に一致し、後部崩壊と呼ばれる。 本稿では,VAEのベータ,データセットサイズ,後方崩壊,速度歪み曲線の関係を評価するためのクローズドフォーム式を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the Variational Autoencoder (VAE), the variational posterior often aligns closely with the prior, which is known as posterior collapse and hinders the quality of representation learning. To mitigate this problem, an adjustable hyperparameter beta has been introduced in the VAE. This paper presents a closed-form expression to assess the relationship between the beta in VAE, the dataset size, the posterior collapse, and the rate-distortion curve by analyzing a minimal VAE in a high-dimensional limit. These results clarify that a long plateau in the generalization error emerges with a relatively larger beta. As the beta increases, the length of the plateau extends and then becomes infinite beyond a certain beta threshold. This implies that the choice of beta, unlike the usual regularization parameters, can induce posterior collapse regardless of the dataset size. Thus, beta is a risky parameter that requires careful tuning. Furthermore, considering the dataset-size dependence on the rate-distortion curve, a relatively large dataset is required to obtain a rate-distortion curve with high rates. Extensive numerical experiments support our analysis.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)では、変分後部はしばしば前部と密接に一致し、後部崩壊(英語版)として知られ、表現学習の質を妨げる。 この問題を緩和するために、VAEで調整可能なハイパーパラメータベータが導入されている。 本稿では,vaeのベータ値,データセットサイズ,後方崩壊量,速度変動曲線との関係を,極小vaeを高次元で解析することにより評価する閉形式式を提案する。 これらの結果は, 相対的に大きいベータで, 一般化誤差の長い台地が出現することを明らかにする。 ベータが増加すると、台地の長さは広がり、一定のベータしきい値を超えて無限になる。 これは、通常の正規化パラメータとは異なり、ベータの選択がデータセットサイズに関係なく後方崩壊を引き起こすことを意味する。 このように、ベータは注意深いチューニングを必要とする危険パラメータである。 さらに, レート歪曲線に対するデータセットサイズ依存性を考慮すると, 高レート歪曲線を得るには比較的大きなデータセットが必要である。 広範な数値実験が我々の分析を支えている。

関連論文リスト

• A Statistical Analysis of Deep Federated Learning for Intrinsically Low-dimensional Data [32.98264375121064]
  Federated Learning (FL)は、協調機械学習における画期的なパラダイムとして登場した。 本稿では,2段階サンプリングモデルにおけるディープフェデレート回帰の一般化特性について検討する。
  論文  参考訳（メタデータ） (2024-10-28T01:36:25Z)
• Learning Dynamics in Linear VAE: Posterior Collapse Threshold, Superfluous Latent Space Pitfalls, and Speedup with KL Annealing [0.0]
  変分オートエンコーダ (VAEs) は、変分後部はしばしば前と密接に整合する悪名高い問題に直面している。 本研究では,極小VAEにおける学習力学の理論解析を行った。
  論文  参考訳（メタデータ） (2023-10-24T01:20:27Z)
• On the Size and Approximation Error of Distilled Sets [57.61696480305911]
  カーネル・インジェクション・ポイント(Kernel Inducing Points)などのデータセット蒸留のカーネル・リッジ回帰に基づく手法について理論的に考察する。 我々は、RFF空間におけるその解が元のデータの解と一致するように、元の入力空間に小さな一組のインスタンスが存在することを証明した。 KRR溶液は、全入力データに最適化されたKRR溶液に対して近似を与えるこの蒸留されたインスタンスセットを用いて生成することができる。
  論文  参考訳（メタデータ） (2023-05-23T14:37:43Z)
• Dissecting Transformer Length Extrapolation via the Lens of Receptive Field Analysis [72.71398034617607]
  我々は、相対的な位置埋め込み設計であるALiBiを受容場解析のレンズで識別する。 バニラ正弦波位置埋め込みを修正してbftextを作成する。これはパラメータフリーな相対的位置埋め込み設計であり、真の長さ情報はトレーニングシーケンスよりも長くなる。
  論文  参考訳（メタデータ） (2022-12-20T15:40:17Z)
• Precise Learning Curves and Higher-Order Scaling Limits for Dot Product Kernel Regression [41.48538038768993]
  本稿では,ドット積カーネルのカーネルリッジ回帰問題に焦点をあてる。 我々は、任意の整数$r$に対して$m approx dr/r!$が常に学習曲線のピークを観測し、複数のサンプルワイズと非自明な振る舞いを複数のスケールで達成する。
  論文  参考訳（メタデータ） (2022-05-30T04:21:31Z)
• Learning High-Precision Bounding Box for Rotated Object Detection via Kullback-Leibler Divergence [100.6913091147422]
  既存の回転物体検出器は、主に水平検出パラダイムから受け継がれている。 本稿では,回転回帰損失の設計を帰納パラダイムから導出手法に変更することを目的としている。
  論文  参考訳（メタデータ） (2021-06-03T14:29:19Z)
• Preventing Posterior Collapse Induced by Oversmoothing in Gaussian VAE [7.845959449872641]
  分散パラメータを適応させることでモデルの平滑性を制御するAR-ELBOを提案する。 さらに、分散パラメータの代替パラメータ化によりVAEを拡張し、非均一または条件付きデータ分散に対処する。 AR-ELBOで訓練されたVAE拡張は、MNISTおよびCelebAデータセットから生成された画像に対するFr'echet受信距離(FID)を改善した。
  論文  参考訳（メタデータ） (2021-02-17T10:00:49Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)
• Interpolation and Learning with Scale Dependent Kernels [91.41836461193488]
  非パラメトリックリッジレス最小二乗の学習特性について検討する。 スケール依存カーネルで定義される推定器の一般的な場合を考える。
  論文  参考訳（メタデータ） (2020-06-17T16:43:37Z)
• Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime [32.65347128465841]
  深層ニューラルネットワークは、トレーニングデータを完璧に補間しながら、素晴らしいパフォーマンスを達成することができる。 バイアス分散トレードオフのU曲線ではなく、テストエラーはしばしば「二重降下」に従う。 我々は、ニューラルネットワークのいわゆる遅延学習システムにおいて、この現象の定量的理論を開発する。
  論文  参考訳（メタデータ） (2020-03-02T17:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。