論文の概要: A moment-matching metric for latent variable generative models

• arxiv url: http://arxiv.org/abs/2111.00875v1
• Date: Mon, 4 Oct 2021 17:51:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-07 17:03:26.134003
• Title: A moment-matching metric for latent variable generative models
• Title（参考訳）: 潜在変数生成モデルのためのモーメントマッチング計量
• Authors: C\'edric Beaulac
• Abstract要約: グッドハートの法則の範囲では、計量が対象となるとき、それは良い計量になるのをやめる。 モーメントに依存するモデル比較や正規化のための新しい指標を提案する。 潜時変動モデルを評価する際に, 適応分布からサンプルを抽出することが一般的である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It can be difficult to assess the quality of a fitted model when facing unsupervised learning problems. Latent variable models, such as variation autoencoders and Gaussian mixture models, are often trained with likelihood-based approaches. In scope of Goodhart's law, when a metric becomes a target it ceases to be a good metric and therefore we should not use likelihood to assess the quality of the fit of these models. The solution we propose is a new metric for model comparison or regularization that relies on moments. The concept is to study the difference between the data moments and the model moments using a matrix norm, such as the Frobenius norm. We show how to use this new metric for model comparison and then for regularization. It is common to draw samples from the fitted distribution when evaluating latent variable models and we show that our proposed metric is faster to compute and has a smaller variance that this alternative. We conclude this article with a proof of concept of both applications and we discuss future work.
• Abstract（参考訳）: 教師なし学習問題に直面した場合,適合モデルの品質を評価することは困難である。 変分オートエンコーダやガウス混合モデルのような潜在変数モデルは、しばしば確率に基づくアプローチで訓練される。 グッドハートの法則の範囲では、計量が対象となるとき、それは良い計量になるのをやめるので、これらのモデルの適合性を評価するために可能性を使うべきではない。 提案する解は、モーメントに依存するモデル比較や正規化のための新しい計量である。 この概念は、フロベニウスノルムのような行列ノルムを用いて、データモーメントとモデルモーメントの違いを研究することである。 モデルの比較と正規化にこの新しい指標をどう使うかを示す。 潜在変数モデルを評価する際に適合分布からサンプルを引き出すのが一般的であり、提案手法は計算が高速で、この代替案よりもばらつきが小さいことを示す。 本稿では,両アプリケーションの概念実証を行い,今後の課題について論じる。

関連論文リスト

• On the Laplace Approximation as Model Selection Criterion for Gaussian Processes [6.990493129893112]
  ラプラス近似に基づく複数の指標を導入する。 実験により、我々のメトリクスはゴールド標準の動的ネストサンプリングに匹敵する品質を示している。
  論文  参考訳（メタデータ） (2024-03-14T09:28:28Z)
• Comparing Foundation Models using Data Kernels [13.099029073152257]
  基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。 提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。 本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
  論文  参考訳（メタデータ） (2023-05-09T02:01:07Z)
• Predicting Out-of-Distribution Error with the Projection Norm [87.61489137914693]
  射影ノルムは、地上の真理ラベルにアクセスすることなく、分布外データ上でモデルのパフォーマンスを予測する。 対数例で非自明な検出性能を実現するには,プロジェクションノルムが唯一の方法であることがわかった。
  論文  参考訳（メタデータ） (2022-02-11T18:58:21Z)
• Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose? [0.2836066255205732]
  我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。 マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。 また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
  論文  参考訳（メタデータ） (2021-07-24T11:38:25Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• Autoregressive Asymmetric Linear Gaussian Hidden Markov Models [1.332091725929965]
  非対称隠れマルコフモデルは、プロセスのトレンドを潜在変数として表現できるフレームワークを提供する。 提案モデルに適合するために,推論,隠蔽状態の復号化,パラメータ学習をいかに適応させるかを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:58:46Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)
• Evaluating the Disentanglement of Deep Generative Models through Manifold Topology [66.06153115971732]
  本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。 複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-05T20:54:11Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。