論文の概要: Robust model training and generalisation with Studentising flows

• arxiv url: http://arxiv.org/abs/2006.06599v2
• Date: Sat, 11 Jul 2020 12:50:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 10:11:41.028286
• Title: Robust model training and generalisation with Studentising flows
• Title（参考訳）: 学習フローを用いたロバストモデルトレーニングと一般化
• Authors: Simon Alexanderson, Gustav Eje Henter
• Abstract要約: 本稿では、ロバストな(特に耐性のある)統計からの洞察に基づいて、これらの手法をさらに改善する方法について論じる。 本稿では, ガウス分布の簡易なドロップイン置換として, 太い尾の潜伏分布を持つフローベースモデルを提案する。 いくつかの異なるデータセットの実験により、提案手法の有効性が確認された。
• 参考スコア（独自算出の注目度）: 22.757298187704745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalising flows are tractable probabilistic models that leverage the power of deep learning to describe a wide parametric family of distributions, all while remaining trainable using maximum likelihood. We discuss how these methods can be further improved based on insights from robust (in particular, resistant) statistics. Specifically, we propose to endow flow-based models with fat-tailed latent distributions such as multivariate Student's $t$, as a simple drop-in replacement for the Gaussian distribution used by conventional normalising flows. While robustness brings many advantages, this paper explores two of them: 1) We describe how using fatter-tailed base distributions can give benefits similar to gradient clipping, but without compromising the asymptotic consistency of the method. 2) We also discuss how robust ideas lead to models with reduced generalisation gap and improved held-out data likelihood. Experiments on several different datasets confirm the efficacy of the proposed approach in both regards.
• Abstract（参考訳）: 正規化フロー(英: normalising flow)は、学習の力を活用して幅広いパラメトリックな分布族を記述することのできる、学習可能な確率モデルである。 我々は,ロバスト統計(特に耐性統計)の知見に基づいて,これらの手法をさらに改善する方法について論じる。 具体的には,従来の正規化フローで用いられるガウス分布の簡易な代替として,多変量学生の$t$のような太い潜伏分布を持つフローベースモデルを提案する。 堅牢性は多くの利点をもたらすが、本論文は2つの利点を考察する。 1)fatter-tailed base distributionsの使用は勾配クリッピングと同様の利点を与えるが,漸近的一貫性を損なわない。 2) 一般化ギャップの低減と保持データ可能性の向上によるモデルへの頑健なアイデアの導出についても論じる。 複数の異なるデータセットにおける実験により、どちらの点においても提案手法の有効性が確認された。

関連論文リスト

• Efficient, Multimodal, and Derivative-Free Bayesian Inference With Fisher-Rao Gradient Flows [10.153270126742369]
  正規化定数を含む確率分布の効率的な近似サンプリングについて検討した。 具体的には,科学技術応用における大規模逆問題に対するベイズ推定における問題クラスに着目する。
  論文  参考訳（メタデータ） (2024-06-25T04:07:22Z)
• Generative Assignment Flows for Representing and Learning Joint Distributions of Discrete Data [2.6499018693213316]
  本稿では,多数の離散確率変数の結合確率分布を表現するための新しい生成モデルを提案する。 全ての離散な関節分布のメタ・プレプレックスにおけるセグレ写像による流れの埋め込みは、任意の対象分布を原理的に表すことができることを保証している。 我々のアプローチは、結合された離散変数のモデリングの第一原理から強い動機を持っている。
  論文  参考訳（メタデータ） (2024-06-06T21:58:33Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Structural Pruning for Diffusion Models [65.02607075556742]
  Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。 複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-18T12:38:21Z)
• Bayesian Hierarchical Models for Counterfactual Estimation [12.159830463756341]
  本稿では,多種多様なカウンターファクトの集合を推定する確率的パラダイムを提案する。 摂動を事前分布関数によるランダム変数として扱う。 収束特性の優れた勾配ベースサンプリング器は、後方サンプルを効率的に計算する。
  論文  参考訳（メタデータ） (2023-01-21T00:21:11Z)
• Sliced-Wasserstein normalizing flows: beyond maximum likelihood training [12.91637880428221]
  正規化フローは通常、非現実的なデータを生成する傾向を含むいくつかの欠点に悩まされる。 本稿では,最大極大原理(MLE)とスライス・ワッサーシュタイン距離を組み合わせたハイブリッド目的関数に基づく新しいトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-07-12T11:29:49Z)
• Resampling Base Distributions of Normalizing Flows [0.0]
  学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。 ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-10-29T14:44:44Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。