論文の概要: Auto-Encoding Goodness of Fit

• arxiv url: http://arxiv.org/abs/2210.06546v1
• Date: Wed, 12 Oct 2022 19:21:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 16:54:07.721515
• Title: Auto-Encoding Goodness of Fit
• Title（参考訳）: 繊維の自動符号化
• Authors: Aaron Palmer, Zhiyi Chi, Derek Aguiar, Jinbo Bi
• Abstract要約: 2段階の仮説テストを含むGoFAE(Goodness of Fit Autoencoder)を開発した。 GoFAEは、競合する深層生成モデルと同等のFIDスコアと平均2乗誤差を達成する。
• 参考スコア（独自算出の注目度）: 11.543670549371361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For generative autoencoders to learn a meaningful latent representation for data generation, a careful balance must be achieved between reconstruction error and how close the distribution in the latent space is to the prior. However, this balance is challenging to achieve due to a lack of criteria that work both at the mini-batch (local) and aggregated posterior (global) level. Goodness of fit (GoF) hypothesis tests provide a measure of statistical indistinguishability between the latent distribution and a target distribution class. In this work, we develop the Goodness of Fit Autoencoder (GoFAE), which incorporates hypothesis tests at two levels. At the mini-batch level, it uses GoF test statistics as regularization objectives. At a more global level, it selects a regularization coefficient based on higher criticism, i.e., a test on the uniformity of the local GoF p-values. We justify the use of GoF tests by providing a relaxed $L_2$-Wasserstein bound on the distance between the latent distribution and target prior. We propose to use GoF tests and prove that optimization based on these tests can be done with stochastic gradient (SGD) descent on a compact Riemannian manifold. Empirically, we show that our higher criticism parameter selection procedure balances reconstruction and generation using mutual information and uniformity of p-values respectively. Finally, we show that GoFAE achieves comparable FID scores and mean squared errors with competing deep generative models while retaining statistical indistinguishability from Gaussian in the latent space based on a variety of hypothesis tests.
• Abstract（参考訳）: データ生成のための有意義な潜時表現を学習するためには、再構成誤差と潜時空間の分布がどれだけ前と近いかの間で慎重にバランスを取らなければならない。 しかし、このバランスは、ミニバッチ(ローカル)レベルと集約後(グローバル)レベルの両方で機能する基準の欠如により達成が困難である。 goodness of fit(gof)仮説テストは、潜在分布と対象分布クラスとの統計的不一致性の尺度を提供する。 本研究では,2段階の仮説テストを含むGoFAE(Goodness of Fit Autoencoder)を開発した。 ミニバッチレベルでは、正規化の目的としてGoFテスト統計を使用する。 よりグローバルなレベルでは、より高い批判、すなわち局所的なGoF p-値の均一性に関するテストに基づいて正規化係数を選択する。 遅延分布と先行ターゲットとの距離に制限された$L_2$-Wassersteinを限定することで、GoFテストの使用を正当化する。 我々はGoFテストを用いて、これらのテストに基づいた最適化がコンパクトリーマン多様体上の確率勾配(SGD)降下によって可能であることを示す。 実験により, p値の相互情報と一様性を用いて, 高い批判パラメータ選択手順が復元と生成のバランスをとることを示した。 最後に、GoFAEが競合する深層生成モデルと同等のFIDスコアと平均二乗誤差を達成し、様々な仮説テストに基づいて、潜在空間におけるガウシアンから統計的不明瞭性を保っていることを示す。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Federated Nonparametric Hypothesis Testing with Differential Privacy Constraints: Optimal Rates and Adaptive Tests [5.3595271893779906]
  フェデレート学習は、さまざまな場所でデータが収集され分析される広範囲な設定で適用可能であることから、近年大きな注目を集めている。 分散差分プライバシー(DP)制約下でのホワイトノイズ・ウィズ・ドリフトモデルにおける非パラメトリック適合性試験について検討した。
  論文  参考訳（メタデータ） (2024-06-10T19:25:19Z)
• AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation [64.9230895853942]
  ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。 この問題に対処するためにテスト時適応(TTA)手法が提案されている。 本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
  論文  参考訳（メタデータ） (2023-04-25T04:23:13Z)
• Adaptive Conformal Prediction by Reweighting Nonconformity Score [0.0]
  我々は、QRF(Quantile Regression Forest)を用いて、不整合スコアの分布を学習し、QRFの重みを利用して、テストポイントに類似した残差を持つサンプルにより重要度を割り当てる。 提案手法は,仮定のない有限標本境界範囲と訓練条件範囲を満足し,適切な仮定の下で条件付き範囲を確保できる。
  論文  参考訳（メタデータ） (2023-03-22T16:42:19Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Functional Linear Regression of Cumulative Distribution Functions [20.96177061945288]
  本稿では,CDFを至る所で正確に推定する機能リッジ回帰に基づく推定手法を提案する。 固定設計, ランダム設計, 対逆コンテキストの場合の$widetilde O(sqrtd/n)$の推定誤差上限を示す。 パラメータ空間が無限次元ヒルベルト空間である無限次元モデルを定式化し、この設定に対して自己正規化推定誤差上限を確立する。
  論文  参考訳（メタデータ） (2022-05-28T23:59:50Z)
• Kernel Robust Hypothesis Testing [20.78285964841612]
  本稿では,カーネル方式を用いて不確実性集合をデータ駆動方式で構築する。 目標は、不確実性集合上の最悪のケース分布の下でうまく機能するテストを設計することである。 Neyman-Pearsonの設定では、誤検知の最悪のケース確率を最小限に抑え、誤警報の最悪のケース確率を制約する。
  論文  参考訳（メタデータ） (2022-03-23T23:59:03Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Feature Quantization Improves GAN Training [126.02828112121874]
  識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。 本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
  論文  参考訳（メタデータ） (2020-04-05T04:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。