論文の概要: On the benefits of defining vicinal distributions in latent space

• arxiv url: http://arxiv.org/abs/2003.06566v4
• Date: Mon, 18 Oct 2021 09:20:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 19:53:51.537038
• Title: On the benefits of defining vicinal distributions in latent space
• Title（参考訳）: 潜在空間におけるビジナル分布の定義の利点について
• Authors: Puneet Mangla, Vedant Singh, Shreyas Jayant Havaldar, Vineeth N Balasubramanian
• Abstract要約: MT(Mixup Training)は、トレーニング例間のグローバルな線形挙動を導入し、モデルの一般化性能を向上させる。 我々は、データに基づく潜在多様体を用いて、混合画像をよりよくサンプリングするための新しいアプローチである textitVarMixup (Variational Mixup) を提案する。 CIFAR-10, CIFAR-100, Tiny-ImageNet に関する実証研究により, VAE が学習した潜伏多様体の混合により訓練されたモデルは, 本質的に様々な入力の破損/摂動に対してより堅牢であり, 校正精度が著しく向上し, 局所的な損失景観がより顕著であることを示した。
• 参考スコア（独自算出の注目度）: 20.249590931872568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The vicinal risk minimization (VRM) principle is an empirical risk minimization (ERM) variant that replaces Dirac masses with vicinal functions. There is strong numerical and theoretical evidence showing that VRM outperforms ERM in terms of generalization if appropriate vicinal functions are chosen. Mixup Training (MT), a popular choice of vicinal distribution, improves the generalization performance of models by introducing globally linear behavior in between training examples. Apart from generalization, recent works have shown that mixup trained models are relatively robust to input perturbations/corruptions and at the same time are calibrated better than their non-mixup counterparts. In this work, we investigate the benefits of defining these vicinal distributions like mixup in latent space of generative models rather than in input space itself. We propose a new approach - \textit{VarMixup (Variational Mixup)} - to better sample mixup images by using the latent manifold underlying the data. Our empirical studies on CIFAR-10, CIFAR-100, and Tiny-ImageNet demonstrate that models trained by performing mixup in the latent manifold learned by VAEs are inherently more robust to various input corruptions/perturbations, are significantly better calibrated, and exhibit more local-linear loss landscapes.
• Abstract（参考訳）: ビシナルリスク最小化(VRM)の原則は、ディラック質量をビシナル関数に置き換える経験的リスク最小化(ERM)の亜種である。 適切なビジナル関数が選択された場合、VRMは一般化の観点からEMMより優れていることを示す強い数値的、理論的証拠がある。 ビシナル分布の一般的な選択であるMixup Training (MT)は、トレーニング例間の世界的な線形挙動を導入し、モデルの一般化性能を向上させる。 一般化とは別に、最近の研究では、混合訓練されたモデルが摂動/破壊の入力に対して比較的堅牢であり、同時に非混合モデルよりもキャリブレーションが優れていることが示されている。 本研究では,入力空間そのものではなく,生成モデルの潜在空間におけるミックスアップのようなビビナル分布を定義することの利点について検討する。 データの基礎となる潜在多様体を用いて、ミックスアップ画像をより良くサンプリングするための新しいアプローチである \textit{varmixup (variational mixup)} を提案する。 CIFAR-10, CIFAR-100, Tiny-ImageNet に関する実証研究により, VAE が学習した潜伏多様体の混合により訓練されたモデルは, 本質的に様々な入力の破損/摂動に対してより堅牢であり, 校正精度が著しく向上し, 局所的な損失景観がより顕著であることを示した。

関連論文リスト

• Towards Understanding Variants of Invariant Risk Minimization through the Lens of Calibration [0.6906005491572401]
  本稿では,Information BottleneckをベースとしたITMが,異なる環境における一貫したキャリブレーションを実現することを示す。 私たちの経験的証拠は、環境全体にわたって一貫した校正を示すモデルも十分に校正されていることを示している。
  論文  参考訳（メタデータ） (2024-01-31T02:08:43Z)
• ClusterDDPM: An EM clustering framework with Denoising Diffusion Probabilistic Models [9.91610928326645]
  拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。 本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。 Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
  論文  参考訳（メタデータ） (2023-12-13T10:04:06Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination [33.12164201146458]
  我々はFedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。 FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。 最先端のFL手法と比較して、FedMRは各クライアントのプライバシを公開することなく、推論精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-18T05:58:24Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。