論文の概要: Variational Gibbs inference for statistical model estimation from
incomplete data
- arxiv url: http://arxiv.org/abs/2111.13180v1
- Date: Thu, 25 Nov 2021 17:22:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 04:51:50.554011
- Title: Variational Gibbs inference for statistical model estimation from
incomplete data
- Title(参考訳): 不完全データからの統計的モデル推定のための変分ギブス推定
- Authors: Vaidotas Simkus, Benjamin Rhodes, Michael U. Gutmann
- Abstract要約: 不完全データから統計モデルのパラメータを推定する新しい汎用手法である変分ギブス推論(VGI)を導入する。
不完全なデータから重要な機械学習モデル、VAE、正規化フローを推定し、VGIを合成的および実世界の一連の推定タスクで検証する。
- 参考スコア(独自算出の注目度): 16.188234933295526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Statistical models are central to machine learning with broad applicability
across a range of downstream tasks. The models are typically controlled by free
parameters that are estimated from data by maximum-likelihood estimation.
However, when faced with real-world datasets many of the models run into a
critical issue: they are formulated in terms of fully-observed data, whereas in
practice the datasets are plagued with missing data. The theory of statistical
model estimation from incomplete data is conceptually similar to the estimation
of latent-variable models, where powerful tools such as variational inference
(VI) exist. However, in contrast to standard latent-variable models, parameter
estimation with incomplete data often requires estimating exponentially-many
conditional distributions of the missing variables, hence making standard VI
methods intractable. We address this gap by introducing variational Gibbs
inference (VGI), a new general-purpose method to estimate the parameters of
statistical models from incomplete data. We validate VGI on a set of synthetic
and real-world estimation tasks, estimating important machine learning models,
VAEs and normalising flows, from incomplete data. The proposed method, whilst
general-purpose, achieves competitive or better performance than existing
model-specific estimation methods.
- Abstract(参考訳): 統計モデルは、ダウンストリームタスクの幅広い適用性を備えた機械学習の中心である。
モデルは通常、最大形推定によってデータから推定される自由パラメータによって制御される。
しかし、現実のデータセットに直面すると、多くのモデルが重大な問題に直面する。それらは完全な観測データの観点から定式化されているのに対して、実際にはデータセットは欠落データに悩まされている。
不完全データからの統計モデル推定の理論は、変分推論(VI)のような強力なツールが存在する潜在変数モデルの推定と概念的に類似している。
しかし、標準の潜在変数モデルとは対照的に、不完全データを用いたパラメータ推定は、しばしば欠落変数の指数関数的に多くの条件分布を推定する必要がある。
不完全データから統計モデルのパラメータを推定する新しい汎用手法である変分ギブス推論(VGI)を導入することで、このギャップに対処する。
不完全なデータから重要な機械学習モデル、VAE、正規化フローを推定し、VGIを合成的および実世界の一連の推定タスクで検証する。
提案手法は汎用的ではあるが,既存のモデル固有推定法よりも競争力や性能が向上する。
関連論文リスト
- Towards Theoretical Understandings of Self-Consuming Generative Models [60.98692028151328]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,この学習規則が将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
我々は拡散モデルに一般結果を特化し、自己消費ループ内での最適な早期停止の有効性などの微妙な洞察を提供する。
論文 参考訳(メタデータ) (2024-02-19T02:08:09Z) - Learning Robust Statistics for Simulation-based Inference under Model
Misspecification [23.331522354991527]
本稿では,シミュレーションに基づく推論手法の異なるクラスにまたがって機能するモデル不特定性を扱うための,最初の一般的なアプローチを提案する。
提案手法は,モデルが適切に特定された場合の精度を保ちながら,不特定シナリオにおいて頑健な推論をもたらすことを示す。
論文 参考訳(メタデータ) (2023-05-25T09:06:26Z) - Uncertainty estimation for time series forecasting via Gaussian process
regression surrogates [0.8733767481819791]
代用ガウス過程モデルに基づく不確実性推定法を提案する。
提案手法は,任意のベースモデルに対して,個別のサロゲートが生成した正確な不確実性推定を行うことができる。
他の手法と比較して、見積もりは1つの追加モデルだけで計算的に有効である。
論文 参考訳(メタデータ) (2023-02-06T14:52:56Z) - Rigorous Assessment of Model Inference Accuracy using Language
Cardinality [5.584832154027001]
我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。
我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
論文 参考訳(メタデータ) (2022-11-29T21:03:26Z) - Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。
パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
論文 参考訳(メタデータ) (2022-01-28T12:00:31Z) - Nonparametric Functional Analysis of Generalized Linear Models Under
Nonlinear Constraints [0.0]
本稿では、一般化線形モデルのための新しい非パラメトリック方法論を紹介する。
これは二項回帰の強さとカテゴリーデータに対する潜在変数の定式化の強さを組み合わせたものである。
これは最近公開された方法論のパラメトリックバージョンを拡張し、一般化する。
論文 参考訳(メタデータ) (2021-10-11T04:49:59Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳(メタデータ) (2021-06-01T19:19:49Z) - Training Deep Normalizing Flow Models in Highly Incomplete Data
Scenarios with Prior Regularization [13.985534521589257]
ハイパウシティシナリオにおけるデータ分布の学習を容易にする新しいフレームワークを提案する。
提案手法は,不完全データから学習過程を協調最適化タスクとして行うことに由来する。
論文 参考訳(メタデータ) (2021-04-03T20:57:57Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳(メタデータ) (2021-02-17T18:25:30Z) - Performance metrics for intervention-triggering prediction models do not
reflect an expected reduction in outcomes from using the model [71.9860741092209]
臨床研究者はしばしばリスク予測モデルの中から選択し評価する。
振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。
予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
論文 参考訳(メタデータ) (2020-06-02T16:26:49Z) - TraDE: Transformers for Density Estimation [101.20137732920718]
TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。
本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
論文 参考訳(メタデータ) (2020-04-06T07:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。