論文の概要: An Input Skip Can Reparameterize a VAE Without Improving the Generator
- arxiv url: http://arxiv.org/abs/2610.37456v1
- Date: Tue, 27 Oct 2026 15:57:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.683937
- Title: An Input Skip Can Reparameterize a VAE Without Improving the Generator
- Title(参考訳): 入力スキップは発電機を改良することなくVAEを再パラメータ化できる
- Abstract要約: 入力スキップは、モデルの新しいサンプルの分布をそのままにして再構成誤差を低減することができる。
一定入力スキップ$0leq1$のガウス変分オートエンコーダ(VAE)の場合、スキップのないモデルはスキップ形式で書くことができる。
- 参考スコア(独自算出の注目度): 3.3959595006357106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An input skip can reduce reconstruction error while leaving a model's distribution of new samples unchanged. For a Gaussian variational autoencoder (VAE) with constant input skip $0\leqα<1$, a model without a skip can be written in skip form by multiplying its decoder output by $b=1-α$ and its noise variance by $b^2$. The distribution of observations and latent variables and its exact generative scores stay the same, while reconstruction mean squared error (MSE) is multiplied by $b^2$. Separate training can produce different generators because optimization depends on the parameter coordinates. In a Gaussian experiment with known density, changing skip and observation variance together reduces MSE but worsens energy score and the estimate of negative log density from importance sampling. On seven annual Deep-ocean Assessment and Reporting of Tsunamis (DART) records, energy score differences at the same observation variance have both signs on four original records and favor the skip on three records from 2018. Probabilistic principal component analysis (PPCA) has lower mean energy scores than every neural DART fit. With the encoder and decoder kept the same, estimating observation variance from training reconstruction error can also worsen energy score. Assessing generation requires more than reconstruction error.
- Abstract(参考訳): 入力スキップは、モデルの新しいサンプルの分布をそのままにして再構成誤差を低減することができる。
一定入力スキップ$0\leqα<1$のガウス変分オートエンコーダ(VAE)に対して、スキップのないモデルは、デコーダ出力を$b=1-α$、ノイズ分散を$b^2$に乗じてスキップ形式で書くことができる。
再現平均二乗誤差(MSE)は$b^2$で乗算されるのに対し、観測値と潜伏変数の分布とその正確な生成スコアは同じである。
最適化はパラメータ座標に依存するため、別々のトレーニングは異なるジェネレータを生成することができる。
既知の密度を持つガウスの実験では、スキップと観測のばらつきを同時に変化させることで、MSEが低下するが、重要サンプリングからエネルギースコアと負のログ密度の推定が悪化する。
津波の深海評価・報告(DART)の7つの年次記録において、同じ観測差におけるエネルギースコアの差は、ともに4つの原記録に現れ、2018年からの3つの記録をスキップすることを好んでいる。
確率的主成分分析(PPCA)は、全てのDART適合値よりも平均エネルギースコアが低い。
エンコーダとデコーダが同じであり、トレーニング再構成誤差から観測誤差を推定すると、エネルギースコアも悪化する。
生成を評価するには、再構築エラー以上のことが必要です。
関連論文リスト
- Rare Gate Disagreements Can Limit Plasticity: When Gradient Flow Mispredicts Finite-Batch SGD [18.94199732493573]
人口勾配の流れは、ニューラルネットワークがどのように適応するかを推論するための一般的なツールである。
有限バッチ勾配勾配を誤予測できることが示される。
論文 参考訳(メタデータ) (2026-10-08T08:22:35Z) - Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。
本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。
本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文 参考訳(メタデータ) (2026-07-14T02:08:33Z) - What Does a Discrete Diffusion Model Learn? [71.03603607324338]
離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。
まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。
すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
論文 参考訳(メタデータ) (2026-07-06T17:56:11Z) - Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
不変学習は、構造が統計的に識別可能であっても失敗することがある。
ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。
合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
論文 参考訳(メタデータ) (2026-06-11T05:49:43Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳(メタデータ) (2026-05-01T17:59:59Z) - GEPC: Group-Equivariant Posterior Consistency for Out-of-Distribution Detection in Diffusion Models [5.205040944294552]
G EPC (Group-Equivariant Posterior Consistency) は、学習したスコアがいかに一貫して変換されるかを測定する訓練のないプローブである。
近年の拡散ベースラインと比較して, G EPC は AUROC の競争力や向上を実現している。
論文 参考訳(メタデータ) (2026-01-30T08:58:13Z) - Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [19.62665684173391]
拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。
本稿では,マーチンゲールに基づく誤り分解とシャープな分散境界を導入し,従属データから効率的な学習を可能にする。
これらの知見に基づいて,より高い雑音レベルにおいて精度を向上させるために,事前学習したスコアを活用する分散低減手法であるBootstrapped Score Matching (BSM)を提案する。
論文 参考訳(メタデータ) (2025-02-14T18:32:22Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a
Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。
本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。
本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文 参考訳(メタデータ) (2022-09-29T13:49:57Z) - Active-LATHE: An Active Learning Algorithm for Boosting the Error
Exponent for Learning Homogeneous Ising Trees [75.93186954061943]
我々は、$rho$が少なくとも0.8$である場合に、エラー指数を少なくとも40%向上させるアルゴリズムを設計し、分析する。
我々の分析は、グラフの一部により多くのデータを割り当てるために、微小だが検出可能なサンプルの統計的変動を巧みに活用することに基づいている。
論文 参考訳(メタデータ) (2021-10-27T10:45:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。