論文の概要: Monotonic Alpha-divergence Minimisation

• arxiv url: http://arxiv.org/abs/2103.05684v1
• Date: Tue, 9 Mar 2021 19:41:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-12 04:12:59.628101
• Title: Monotonic Alpha-divergence Minimisation
• Title（参考訳）: 単調アルファダイバージェンス最小化
• Authors: Kam\'elia Daudel, Randal Douc and Fran\c{c}ois Roueff
• Abstract要約: 各ステップにおける$alpha$-divergenceの体系的減少を保証することにより、$alpha$-divergence最小化を行う新しい反復アルゴリズムを提案する。 最も一般的な形式で、我々のフレームワークは与えられた混合モデルの重みと成分パラメータを同時に最適化することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce a novel iterative algorithm which carries out $\alpha$-divergence minimisation by ensuring a systematic decrease in the $\alpha$-divergence at each step. In its most general form, our framework allows us to simultaneously optimise the weights and components parameters of a given mixture model. Notably, our approach permits to build on various methods previously proposed for $\alpha$-divergence minimisation such as gradient or power descent schemes. Furthermore, we shed a new light on an integrated Expectation Maximization algorithm. We provide empirical evidence that our methodology yields improved results, all the while illustrating the numerical benefits of having introduced some flexibility through the parameter $\alpha$ of the $\alpha$-divergence.
• Abstract（参考訳）: 本稿では,各ステップにおける$\alpha$-divergenceの体系的減少を保証することにより,$\alpha$-divergence最小化を行う新しい反復アルゴリズムを提案する。 最も一般的な形式で、我々のフレームワークは与えられた混合モデルの重みと成分パラメータを同時に最適化することができる。 特に,グラデーションやパワー降下スキームなどの$\alpha$-divergence最小化のために提案されている様々な手法を構築可能である。 さらに,統合期待最大化アルゴリズムに新たな光を当てた。 我々の方法論が改良された結果をもたらすという実証的な証拠を提供する一方で、$\alpha$-divergence のパラメータ $\alpha$ を通じて柔軟性を導入することの数値的な利点を示す。

関連論文リスト

• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Strategic Distribution Shift of Interacting Agents via Coupled Gradient Flows [6.064702468344376]
  実世界のシステムにおける分散シフトのダイナミクスを解析するための新しいフレームワークを提案する。 より単純なモデルでは捉えられない偏極や異なる影響といった、よく文書化された形態の分布シフトを捉える手法を示す。
  論文  参考訳（メタデータ） (2023-07-03T17:18:50Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
  SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。 本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。 本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
  論文  参考訳（メタデータ） (2022-02-15T09:17:39Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Uncertainty Modelling in Risk-averse Supply Chain Systems Using Multi-objective Pareto Optimization [0.0]
  サプライチェーンモデリングにおける困難なタスクの1つは、不規則な変動に対して堅牢なモデルを構築することである。 我々は、不確実性を扱うためのパレート最適化(Pareto Optimization)という新しい手法を導入し、これらの不確実性のエントロピーをアプリオリ仮定の下で明示的にモデル化することで拘束する。
  論文  参考訳（メタデータ） (2020-04-24T21:04:25Z)
• GACEM: Generalized Autoregressive Cross Entropy Method for Multi-Modal Black Box Constraint Satisfaction [69.94831587339539]
  本稿では,マスク付き自己回帰ニューラルネットワークを用いて解空間上の均一分布をモデル化するクロスエントロピー法(CEM)を提案する。 我々のアルゴリズムは複雑な解空間を表現でき、様々な異なる解領域を追跡できる。
  論文  参考訳（メタデータ） (2020-02-17T20:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。