論文の概要: Easy Variational Inference for Categorical Models via an Independent Binary Approximation

• arxiv url: http://arxiv.org/abs/2206.00093v1
• Date: Tue, 31 May 2022 20:06:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 12:13:52.830517
• Title: Easy Variational Inference for Categorical Models via an Independent Binary Approximation
• Title（参考訳）: 独立二項近似による分類モデルの簡単な変分推論
• Authors: Michael T. Wojnowicz, Shuchin Aeron, Eric L. Miller, and Michael C. Hughes
• Abstract要約: 我々は、分類的二項モデル(CB)と呼ばれる分類データに対して、新しい一般化線形モデル(GLM)のクラスを定義する。 CBモデルは双対確率の積によって束縛される可能性を持ち、自然な後続近似を示唆する。 提案手法は数千のカテゴリにスケールし, 予測品質の固定化に要する時間において, 自動微分変分推定(ADVI) や No U-Turn Smpling (NUTS) などの後方推定競合よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 11.81806235568836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We pursue tractable Bayesian analysis of generalized linear models (GLMs) for categorical data. Thus far, GLMs are difficult to scale to more than a few dozen categories due to non-conjugacy or strong posterior dependencies when using conjugate auxiliary variable methods. We define a new class of GLMs for categorical data called categorical-from-binary (CB) models. Each CB model has a likelihood that is bounded by the product of binary likelihoods, suggesting a natural posterior approximation. This approximation makes inference straightforward and fast; using well-known auxiliary variables for probit or logistic regression, the product of binary models admits conjugate closed-form variational inference that is embarrassingly parallel across categories and invariant to category ordering. Moreover, an independent binary model simultaneously approximates multiple CB models. Bayesian model averaging over these can improve the quality of the approximation for any given dataset. We show that our approach scales to thousands of categories, outperforming posterior estimation competitors like Automatic Differentiation Variational Inference (ADVI) and No U-Turn Sampling (NUTS) in the time required to achieve fixed prediction quality.
• Abstract（参考訳）: 一般化線形モデル (glms) のカテゴリーデータに対する可搬ベイズ解析を追求する。 これまでのGLMは、共役変数法を用いる場合、非共役性や強い後続依存性のため、数十以上のカテゴリにスケールすることが困難である。 分類モデル(CBモデル)と呼ばれる分類データのための新しいクラスGLMを定義する。 それぞれのCBモデルは、双対確率の積によって有界な可能性を持ち、自然な後続近似を示唆する。 この近似は推論を単純かつ高速にする;プロビットまたはロジスティック回帰のためのよく知られた補助変数を用いることで、二項モデルの積は、カテゴリにまたがって恥ずかしいほど平行でカテゴリ順序に不変な共役閉形式変分推論を許容する。 さらに、独立バイナリモデルは複数のCBモデルを同時に近似する。 これらの平均的なベイズモデルにより、任意のデータセットの近似の品質が向上する。 提案手法は数千のカテゴリにスケールし, 予測品質の固定化に要する時間において, 自動微分変分推定(ADVI) や No U-Turn Smpling (NUTS) などの後方推定競合よりも優れていることを示す。

関連論文リスト

• Adaptive Transfer Clustering: A Unified Framework [2.3144964550307496]
  本稿では,未知の相違点が存在する場合の共通性を自動的に活用するアダプティブ・トランスファー・クラスタリング(ATC)アルゴリズムを提案する。 これはガウス混合モデル、ブロックモデル、潜在クラスモデルを含む幅広い統計モデルに適用される。
  論文  参考訳（メタデータ） (2024-10-28T17:57:06Z)
• BI-EqNO: Generalized Approximate Bayesian Inference with an Equivariant Neural Operator Framework [9.408644291433752]
  一般化されたベイズ近似のための同変ニューラル演算系であるBI-EqNOを導入する。 BI-EqNOは、データ駆動トレーニングを通じて、条件付き観測データに基づいて事前を後方に変換する。 BI-EqNO の応用例は,(1) 回帰のための一般化ガウス過程 (gGP) と(2) 逐次データ同化のためのアンサンブルニューラルフィルタ (EnNF) の2つである。
  論文  参考訳（メタデータ） (2024-10-21T18:39:16Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution [0.8122270502556371]
  本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。 このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。 これは、サロゲートや物理モデルのような応用に有用であると考えています。
  論文  参考訳（メタデータ） (2022-09-06T02:43:19Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference [9.468270453795409]
  ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。 このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。 我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
  論文  参考訳（メタデータ） (2022-02-25T21:21:51Z)
• Linear Discriminant Analysis with High-dimensional Mixed Variables [10.774094462083843]
  本稿では,混合変数を用いた高次元観測の分類手法を提案する。 データを指数関数的に多くのセルに分割するという課題を克服する。 推定精度と誤分類率に関する結果が確立される。
  論文  参考訳（メタデータ） (2021-12-14T03:57:56Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。