論文の概要: A Unified Perspective on Natural Gradient Variational Inference with Gaussian Mixture Models

• arxiv url: http://arxiv.org/abs/2209.11533v2
• Date: Mon, 17 Jul 2023 10:02:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 00:29:48.462994
• Title: A Unified Perspective on Natural Gradient Variational Inference with Gaussian Mixture Models
• Title（参考訳）: ガウス混合モデルを用いた自然勾配変分推定の統一的視点
• Authors: Oleg Arenz, Philipp Dahlinger, Zihan Ye, Michael Volpp, Gerhard Neumann
• Abstract要約: VIPSとiBayes-GMMの派生した更新は、初めて同じであることを示す。 どちらのアプローチにおいても、学習した近似の質はそれぞれの設計選択に大きく左右される可能性がある、と我々は主張する。 情報幾何学的信頼領域は1次自然勾配推定を用いても有効であることを示す。
• 参考スコア（独自算出の注目度）: 18.426817621478804
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Variational inference with Gaussian mixture models (GMMs) enables learning of highly tractable yet multi-modal approximations of intractable target distributions with up to a few hundred dimensions. The two currently most effective methods for GMM-based variational inference, VIPS and iBayes-GMM, both employ independent natural gradient updates for the individual components and their weights. We show for the first time, that their derived updates are equivalent, although their practical implementations and theoretical guarantees differ. We identify several design choices that distinguish both approaches, namely with respect to sample selection, natural gradient estimation, stepsize adaptation, and whether trust regions are enforced or the number of components adapted. We argue that for both approaches, the quality of the learned approximations can heavily suffer from the respective design choices: By updating the individual components using samples from the mixture model, iBayes-GMM often fails to produce meaningful updates to low-weight components, and by using a zero-order method for estimating the natural gradient, VIPS scales badly to higher-dimensional problems. Furthermore, we show that information-geometric trust-regions (used by VIPS) are effective even when using first-order natural gradient estimates, and often outperform the improved Bayesian learning rule (iBLR) update used by iBayes-GMM. We systematically evaluate the effects of design choices and show that a hybrid approach significantly outperforms both prior works. Along with this work, we publish our highly modular and efficient implementation for natural gradient variational inference with Gaussian mixture models, which supports 432 different combinations of design choices, facilitates the reproduction of all our experiments, and may prove valuable for the practitioner.
• Abstract（参考訳）: ガウス混合モデル(GMM)による変分推論は、最大数百次元の抽出可能な対象分布の高トラクタブルかつマルチモーダルな近似の学習を可能にする。 現在最も効果的なGMMベースの変分推定法であるVIPSとiBayes-GMMは、それぞれ独立して個々の成分とその重みの自然な勾配を更新する。 実際の実装と理論的保証は異なっているが,これらの更新が等価であることを示すのは今回が初めてである。 サンプル選択, 自然勾配推定, 段階的適応, 信頼領域が強制されるか, 適応する部品の数など, 双方のアプローチを区別する設計上の選択について検討する。 混合モデルからサンプルを用いて個々のコンポーネントを更新することにより、iBayes-GMMは低ウェイトなコンポーネントに対して有意義な更新を行うことができず、VIPSは自然勾配を推定するためにゼロオーダー法を用いることで、高次元問題に対して著しくスケールする。 さらに,情報幾何学的信頼領域(VIPS)は,1次自然勾配推定を用いても有効であり,iBayes-GMMによる改良ベイズ学習規則(iBLR)よりも優れていることを示す。 我々は,設計選択の効果を体系的に評価し,ハイブリッドアプローチが両者の先行作業を大きく上回ることを示す。 この研究と並行して,ガウス混合モデルを用いた自然勾配変分推論の高度にモジュール化された効率的な実装を行い,設計選択の432の異なる組み合わせをサポートし,実験の再現を容易にし,実践者にとって有益であることを証明した。

関連論文リスト

• Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
  人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:56:11Z)
• Gradient-free variational learning with conditional mixture networks [39.827869318925494]
  条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。 UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。 提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
  論文  参考訳（メタデータ） (2024-08-29T10:43:55Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Natural Gradient Hybrid Variational Inference with Application to Deep Mixed Models [0.0]
  深層混合モデルに対する高速かつ高精度な変分推定法(VI)を提案する。 これは、大域的パラメータと潜伏変数の結合後部を対象とする、明確に定義された勾配変動最適化を採用している。 提案手法は,2つの最先端自然度勾配法よりも高速かつ精度が高いことを示す。
  論文  参考訳（メタデータ） (2023-02-27T06:24:20Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Saliency [47.90235939359225]
  モデルキャリブレーションをさらに改善する事前学習型言語モデルのための新しい混合戦略を提案する。 本手法は,ドメイン内およびドメイン外テストサンプルの強いベースラインと比較して,最小のキャリブレーション誤差を実現する。
  論文  参考訳（メタデータ） (2022-03-14T23:45:08Z)
• Gaussian Process Latent Class Choice Models [7.992550355579791]
  離散選択モデル(DCM)における確率的機械学習の非パラメトリッククラスを提案する。 提案モデルでは,GPを用いた行動同質クラスタ(ラテントクラス)に確率的に個人を割り当てる。 モデルは2つの異なるモード選択アプリケーションでテストされ、異なるLCCMベンチマークと比較される。
  論文  参考訳（メタデータ） (2021-01-28T19:56:42Z)
• A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
  多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。 条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。 混合物のパラメータと距離測定値に基づいて後部推論を行う。
  論文  参考訳（メタデータ） (2020-12-03T18:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。