論文の概要: Fisher meets Feynman: score-based variational inference with a product of experts

• arxiv url: http://arxiv.org/abs/2510.21598v1
• Date: Fri, 24 Oct 2025 16:02:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.534541
• Title: Fisher meets Feynman: score-based variational inference with a product of experts
• Title（参考訳）: FisherがFeynmanと出会う: スコアに基づく変分推論と専門家の積
• Authors: Diana Cai, Robert M. Gower, David M. Blei, Lawrence K. Saul,
• Abstract要約: ブラックボックス変分推論(BBVI)のための高表現性で明確に抽出可能なファミリーを導入する。 この家族の各メンバーは、専門家(PoE)の重み付けされた製品である。 補助ディリクレ確率変数を持つ潜在変数モデルとして、これらの専門家の積を再構成することで、これをどのように行うかを示す。
• 参考スコア（独自算出の注目度）: 28.07579363570697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a highly expressive yet distinctly tractable family for black-box variational inference (BBVI). Each member of this family is a weighted product of experts (PoE), and each weighted expert in the product is proportional to a multivariate $t$-distribution. These products of experts can model distributions with skew, heavy tails, and multiple modes, but to use them for BBVI, we must be able to sample from their densities. We show how to do this by reformulating these products of experts as latent variable models with auxiliary Dirichlet random variables. These Dirichlet variables emerge from a Feynman identity, originally developed for loop integrals in quantum field theory, that expresses the product of multiple fractions (or in our case, $t$-distributions) as an integral over the simplex. We leverage this simplicial latent space to draw weighted samples from these products of experts -- samples which BBVI then uses to find the PoE that best approximates a target density. Given a collection of experts, we derive an iterative procedure to optimize the exponents that determine their geometric weighting in the PoE. At each iteration, this procedure minimizes a regularized Fisher divergence to match the scores of the variational and target densities at a batch of samples drawn from the current approximation. This minimization reduces to a convex quadratic program, and we prove under general conditions that these updates converge exponentially fast to a near-optimal weighting of experts. We conclude by evaluating this approach on a variety of synthetic and real-world target distributions.
• Abstract（参考訳）: ブラックボックス変分推論 (BBVI) のために, 高度に表現力が高く, 明瞭に抽出可能なファミリーを導入する。 このファミリーの各メンバーは、専門家の重み付き積(PoE)であり、製品の各重み付き専門家は、多変量$t$-分布に比例する。 これらの専門家の製品は、スキュー、ヘビーテール、多重モードで分布をモデル化できるが、BBVIに使用するには、密度からサンプルを採取する必要がある。 補助ディリクレ確率変数を持つ潜在変数モデルとして、これらの専門家の積を再構成することで、これをどのように行うかを示す。 これらのディリクレ変数は、もともとは量子論におけるループ積分のために開発されたファインマン恒等式から生まれ、単純体上の積分として複数の分数の積(または、この場合$t$-分布)を表現している。 BBVIが使用したサンプルは、ターゲット密度を最もよく近似するPoEを見つけるのに使われます。 専門家の集まりが与えられたら、PoEの幾何学的重み付けを決定する指数を最適化するための反復的な手順を導出します。 各イテレーションにおいて、この手順は、現在の近似から引き出されたサンプルのバッチにおいて、変動密度とターゲット密度のスコアに一致するように正規化されたフィッシャー分岐を最小化する。 この最小化は凸二次プログラムに還元され、これらの更新が専門家のほぼ最適重み付けに指数関数的に収束することが一般的な条件下で証明される。 本研究は, 種々の合成および実世界のターゲット分布について, このアプローチを評価することで結論付ける。

関連論文リスト

• Conditional Distribution Quantization in Machine Learning [83.54039134248231]
  条件予測 mathbbE(Y Mid X) はしばしば、マルチモーダル条件分布の複雑さを捉えることに失敗する(Y Mid X) 我々はn点条件量子化(n-point Conditional Quantizations)-勾配降下により学習可能なXの関数写像--近似数学L(Y mid X)-を提案する。
  論文  参考訳（メタデータ） (2025-02-11T00:28:24Z)
• Robust Generative Learning with Lipschitz-Regularized $α$-Divergences Allows Minimal Assumptions on Target Distributions [14.26048618158117]
  本稿では,Lipschitz-regularized $alpha$-divergencesの生成モデルにおける目的関数としてのロバスト性を示す。 GANや勾配流などの生成モデルの安定な訓練に不可欠な変分微分の存在と有限性を証明する。 数値実験により、Lipschitz-regularized $alpha$-divergencesを利用した生成モデルは、様々な困難なシナリオで安定して分布を学習できることが確認された。
  論文  参考訳（メタデータ） (2024-05-22T19:58:13Z)
• Balanced Product of Calibrated Experts for Long-Tailed Recognition [13.194151879344487]
  多くの実世界の認識問題は長いラベルの分布によって特徴づけられる。 本研究では分析的アプローチを採り、ロジット調整の概念をアンサンブルに拡張し、専門家のバランス製品(BalPoE)を形成する。 我々はこれらの分布を適切に定義し、偏りのない予測を達成するために専門家を組み合わせる方法を示す。
  論文  参考訳（メタデータ） (2022-06-10T17:59:02Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Healing Products of Gaussian Processes [21.892542043785845]
  現地の専門家の予測をWassersteinバリセンタの計算により組み合わせた,新たなエキスパートモデルを提案する。 特に,wasserstein barycenterを計算し,現地の専門家の予測を組み合わせる新しい経験則モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-14T08:53:43Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。