論文の概要: Unbiased and Efficient Log-Likelihood Estimation with Inverse Binomial
Sampling
- arxiv url: http://arxiv.org/abs/2001.03985v3
- Date: Tue, 27 Oct 2020 20:08:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 04:41:04.740732
- Title: Unbiased and Efficient Log-Likelihood Estimation with Inverse Binomial
Sampling
- Title（参考訳）: 逆二項サンプリングによる不偏・効率的な対数類似度推定
- Authors: Bas van Opheusden, Luigi Acerbi and Wei Ji Ma
- Abstract要約: 逆二項サンプリング(IBS)は、データセット全体のログ類似度を、バイアスなく効率的に推定することができる。
IBSは、推定パラメータと最大対数類似値において、代替サンプリング法よりも低い誤差を生成する。
- 参考スコア（独自算出の注目度）: 9.66840768820136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The fate of scientific hypotheses often relies on the ability of a
computational model to explain the data, quantified in modern statistical
approaches by the likelihood function. The log-likelihood is the key element
for parameter estimation and model evaluation. However, the log-likelihood of
complex models in fields such as computational biology and neuroscience is
often intractable to compute analytically or numerically. In those cases,
researchers can often only estimate the log-likelihood by comparing observed
data with synthetic observations generated by model simulations. Standard
techniques to approximate the likelihood via simulation either use summary
statistics of the data or are at risk of producing severe biases in the
estimate. Here, we explore another method, inverse binomial sampling (IBS),
which can estimate the log-likelihood of an entire data set efficiently and
without bias. For each observation, IBS draws samples from the simulator model
until one matches the observation. The log-likelihood estimate is then a
function of the number of samples drawn. The variance of this estimator is
uniformly bounded, achieves the minimum variance for an unbiased estimator, and
we can compute calibrated estimates of the variance. We provide theoretical
arguments in favor of IBS and an empirical assessment of the method for
maximum-likelihood estimation with simulation-based models. As case studies, we
take three model-fitting problems of increasing complexity from computational
and cognitive neuroscience. In all problems, IBS generally produces lower error
in the estimated parameters and maximum log-likelihood values than alternative
sampling methods with the same average number of samples. Our results
demonstrate the potential of IBS as a practical, robust, and easy to implement
method for log-likelihood evaluation when exact techniques are not available.
- Abstract（参考訳）: 科学的仮説の運命は、確率関数によって現代の統計的アプローチで定量化されたデータを説明するための計算モデルの能力に依存することが多い。
log-likelihoodはパラメータ推定とモデル評価のキー要素である。
しかし、計算生物学や神経科学などの分野における複雑なモデルのログ化は、しばしば解析的あるいは数値的に計算することができる。
それらの場合、研究者は観測データとモデルシミュレーションによって生成された合成観測を比較することで、ログの類似度を推定できるだけであることが多い。
シミュレーションによる帰納法を近似する標準的な手法は、データの要約統計を使うか、推定に厳しいバイアスを生じさせるリスクがある。
本稿では,データセット全体のログ類似度を,バイアスなく効率的に推定できる逆二項サンプリング法(inverse binomial sampling,ibs)について検討する。
それぞれの観測について、IBSはシミュレーターモデルからサンプルを抽出し、観察と一致させる。
ログのような推定は、描画されたサンプル数の関数である。
この推定器の分散は一様有界であり、偏りのない推定器の最小分散を達成し、分散の校正された推定値を計算できる。
IBS に有利な理論的議論と,シミュレーションベースモデルを用いた最大線量推定手法の実証評価を提供する。
ケーススタディでは、計算および認知神経科学から複雑さを増大させる3つのモデル適合問題を取り上げる。
全ての問題において、IBSは推定パラメータと最大対数類似値において、同じ平均サンプル数を持つ別のサンプリング手法よりも誤差が低い。
IBSの実用的かつ堅牢で,正確な技術が得られない場合に,ログライクな評価方法の実装が容易な可能性を示す。
関連論文リスト
- A Provably Accurate Randomized Sampling Algorithm for Logistic Regression [2.7930955543692817]
本稿では,ロジスティック回帰問題に対する単純なランダム化サンプリングに基づくアルゴリズムを提案する。
正確な近似は、観測総数よりもはるかに小さい試料で達成できることを示す。
概して、ロジスティック回帰における推定確率を効率的に近似するためにランダム化サンプリング手法を用いる可能性に光を当てている。
論文 参考訳（メタデータ） (2024-02-26T06:20:28Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳（メタデータ） (2022-12-06T12:42:11Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Nonparametric likelihood-free inference with Jensen-Shannon divergence
for simulator-based models with categorical output [1.4298334143083322]
シミュレータに基づく統計モデルに対する自由な推論は、機械学習と統計のコミュニティの両方において、関心の高まりを招いている。
本稿では、Jensen-Shannon- divergenceの計算特性を用いて、モデルパラメータに対する推定、仮説テスト、信頼区間の構築を可能にする理論的結果のセットを導出する。
このような近似はより集中的なアプローチの素早い代替手段であり、シミュレーターベースモデルの多種多様な応用には魅力的である。
論文 参考訳（メタデータ） (2022-05-22T18:00:13Z) - Nonuniform Negative Sampling and Log Odds Correction with Rare Events
Data [15.696653979226113]
不均衡なデータに対する非一様負サンプリングによるパラメータ推定の問題について検討する。
一般逆確率重み付き(IPW)推定器を導出し,その分散を最小化する最適なサンプリング確率を得る。
理論的および実証的な結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2021-10-25T15:37:22Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Score Matched Conditional Exponential Families for Likelihood-Free
Inference [0.0]
Likelihood-Free Inference (LFI) はモデルからのシミュレーションに依存する。
モデルからパラメータシミュレーションペアを観測に基づいて独立に生成する。
重みをスコアマッチングで調整したニューラルネットワークを用いて,条件付き指数関数的家族度近似を学習する。
論文 参考訳（メタデータ） (2020-12-20T11:57:30Z) - On a Variational Approximation based Empirical Likelihood ABC Method [1.5293427903448025]
本稿では,ABC法を提案する。
対象の対数姿勢は、期待される関節対数類似度とデータ生成密度の差分エントロピーの和として近似できることを示す。
論文 参考訳（メタデータ） (2020-11-12T21:24:26Z) - Density of States Estimation for Out-of-Distribution Detection [69.90130863160384]
DoSEは状態推定器の密度である。
我々は、他の教師なしOOD検出器に対するDoSEの最先端性能を実証する。
論文 参考訳（メタデータ） (2020-06-16T16:06:25Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。