論文の概要: Likelihood Ratio Exponential Families

• arxiv url: http://arxiv.org/abs/2012.15480v2
• Date: Fri, 15 Jan 2021 06:06:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:21:46.124616
• Title: Likelihood Ratio Exponential Families
• Title（参考訳）: 確率比指数関数族
• Authors: Rob Brekelmans, Frank Nielsen, Alireza Makhzani, Aram Galstyan, Greg Ver Steeg
• Abstract要約: 幾何学的混合経路を指数関数分布の族として熱力学的変分対象(tvo)を分析する。 これらの可能性比指数ファミリーを拡張し、レート歪み(RD)最適化、情報ボトルネック(IB)方法、および最近のレート歪み分類アプローチの解決策を含む。
• 参考スコア（独自算出の注目度）: 43.98796887171374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The exponential family is well known in machine learning and statistical physics as the maximum entropy distribution subject to a set of observed constraints, while the geometric mixture path is common in MCMC methods such as annealed importance sampling. Linking these two ideas, recent work has interpreted the geometric mixture path as an exponential family of distributions to analyze the thermodynamic variational objective (TVO). We extend these likelihood ratio exponential families to include solutions to rate-distortion (RD) optimization, the information bottleneck (IB) method, and recent rate-distortion-classification approaches which combine RD and IB. This provides a common mathematical framework for understanding these methods via the conjugate duality of exponential families and hypothesis testing. Further, we collect existing results to provide a variational representation of intermediate RD or TVO distributions as a minimizing an expectation of KL divergences. This solution also corresponds to a size-power tradeoff using the likelihood ratio test and the Neyman Pearson lemma. In thermodynamic integration bounds such as the TVO, we identify the intermediate distribution whose expected sufficient statistics match the log partition function.
• Abstract（参考訳）: 指数族は機械学習や統計物理学において、観測された一連の制約に対する最大エントロピー分布として知られており、幾何学的混合経路は、アニールされた重要性サンプリングのようなMCMC法で一般的である。 これら2つのアイデアをリンクして、最近の研究は、幾何学的混合経路を熱力学的変動目標(TVO)を分析する指数関数的な分布の族として解釈している。 我々は、これら指数関数列を、RD最適化、情報ボトルネック(IB)法、RDとIBを組み合わせた最近のレート歪み分類手法を含むように拡張する。 これは指数関数族と仮説検定の共役双対性を通じてこれらの方法を理解する共通の数学的枠組みを提供する。 さらに、既存の結果を収集し、KLの発散の期待を最小化するため、中間RDまたはTVO分布の変動表現を提供する。 この解はラピッド比検定とニーマン・ピアソン補題を用いた大容量トレードオフにも対応している。 また,TVOのような熱力学積分境界では,ログ分割関数と十分な統計値が一致した中間分布を同定する。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Analytical Approximation of the ELBO Gradient in the Context of the Clutter Problem [0.0]
  変分推論問題におけるエビデンス下界(ELBO)の勾配を近似する解析解を提案する。 提案手法は線形計算複雑性とともに精度と収束率を示す。
  論文  参考訳（メタデータ） (2024-04-16T13:19:46Z)
• Statistical Mechanics of Dynamical System Identification [3.1484174280822845]
  我々はスパース方程式探索アルゴリズムを統計的に解析する手法を開発した。 このフレームワークでは、統計力学は複雑さとフィットネスの間の相互作用を分析するためのツールを提供する。
  論文  参考訳（メタデータ） (2024-03-04T04:32:28Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Fast approximations of the Jeffreys divergence between univariate Gaussian mixture models via exponential polynomial densities [16.069404547401373]
  ジェフリーズ・ダイバージェンス(英: Jeffreys divergence)は、機械学習、信号処理、情報科学でよく用いられる統計学のクルバック・リブラーの有名な対称性である。 任意の成分数の2つのGMM間のジェフリーズ偏差を近似するために, 単純かつ高速な関数を提案する。
  論文  参考訳（メタデータ） (2021-07-13T07:58:01Z)
• q-Paths: Generalizing the Geometric Annealing Path using Power Means [51.73925445218366]
  我々は、幾何学と算術の混合を特別なケースとして含むパスのファミリーである$q$-pathsを紹介した。 幾何経路から離れた小さな偏差がベイズ推定に経験的利得をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-07-01T21:09:06Z)
• Recovery of Joint Probability Distribution from one-way marginals: Low rank Tensors and Random Projections [2.9929093132587763]
  統合確率質量関数(PMF)推定は、基本的な機械学習問題である。 本研究では、トモグラフィーのアイデアを用いたPMF推定問題に、データのランダムな投影をリンクする。 一方向マージンからテンソルの因子を回復するための新しいアルゴリズムを提供し、様々な合成データセットと実世界のデータセットを横断してテストし、推定された分類モデル上でMAP推論を行う。
  論文  参考訳（メタデータ） (2021-03-22T14:00:57Z)
• All in the Exponential Family: Bregman Duality in Thermodynamic Variational Inference [42.05882835476882]
  熱力学変分対象(TVO)に基づく幾何学的混合曲線の指数関数的ファミリー解釈を提案する。 本稿では,指数関数系列のモーメントパラメータの等間隔を用いて中間分布を選択することを提案する。
  論文  参考訳（メタデータ） (2020-07-01T17:46:49Z)
• A maximum-entropy approach to off-policy evaluation in average-reward MDPs [54.967872716145656]
  この研究は、無限水平非カウントマルコフ決定過程(MDPs)における関数近似を伴うオフ・ポリティ・アセスメント(OPE)に焦点を当てる。 提案手法は,第1の有限サンプル OPE 誤差境界であり,既存の結果がエピソードおよびディスカウントケースを超えて拡張される。 この結果から,教師あり学習における最大エントロピー的アプローチを並列化して,十分な統計値を持つ指数関数型家族分布が得られた。
  論文  参考訳（メタデータ） (2020-06-17T18:13:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。