論文の概要: Low-Discrepancy Points via Energetic Variational Inference
- arxiv url: http://arxiv.org/abs/2111.10722v1
- Date: Sun, 21 Nov 2021 03:09:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-24 09:34:38.303450
- Title: Low-Discrepancy Points via Energetic Variational Inference
- Title(参考訳): エネルギー変動推論による低差分点
- Authors: Yindong Chen, Yiwei Wang, Lulu Kang, Chun Liu
- Abstract要約: 本稿では,カーネルの不一致を最小限に抑えて,決定論的変分推論手法を提案し,低差分点を生成する。
得られたアルゴリズムをEVI-MMDと命名し、対象分布が完全に特定された例を通して実演する。
その性能は、分布近似、数値積分、生成学習の応用における代替手法と比較して満足できる。
- 参考スコア(独自算出の注目度): 5.936959130012709
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a deterministic variational inference approach and
generate low-discrepancy points by minimizing the kernel discrepancy, also
known as the Maximum Mean Discrepancy or MMD. Based on the general energetic
variational inference framework by Wang et. al. (2021), minimizing the kernel
discrepancy is transformed to solving a dynamic ODE system via the explicit
Euler scheme. We name the resulting algorithm EVI-MMD and demonstrate it
through examples in which the target distribution is fully specified, partially
specified up to the normalizing constant, and empirically known in the form of
training data. Its performances are satisfactory compared to alternative
methods in the applications of distribution approximation, numerical
integration, and generative learning. The EVI-MMD algorithm overcomes the
bottleneck of the existing MMD-descent algorithms, which are mostly applicable
to two-sample problems. Algorithms with more sophisticated structures and
potential advantages can be developed under the EVI framework.
- Abstract(参考訳): 本稿では,最大平均偏差(mmd)として知られるカーネル偏差を最小化することにより,決定論的変分推論手法を提案し,低差点を生成する。
Wangらによる一般的なエネルギー的変動推論フレームワークに基づく。
al. (2021) では、カーネルの不一致を最小限に抑え、明示的なオイラースキームによって動的ODEシステムを解く。
得られたアルゴリズムをEVI-MMDと命名し、対象分布が完全に特定され、正規化定数まで部分的に特定され、訓練データの形で実証的に知られている例を通して示す。
その性能は、分布近似、数値積分、生成学習の応用における代替手法と比較して満足できる。
EVI-MMDアルゴリズムは既存のMDD-Descentアルゴリズムのボトルネックを克服する。
より洗練された構造と潜在的な利点を持つアルゴリズムは、EVIフレームワークの下で開発することができる。
関連論文リスト
- Efficient Alternating Minimization Solvers for Wyner Multi-View
Unsupervised Learning [0.0]
本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。
提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
論文 参考訳(メタデータ) (2023-03-28T10:17:51Z) - On Representations of Mean-Field Variational Inference [2.4316550366482357]
平均場変動推論(MFVI)アルゴリズムを解析するためのフレームワークを提案する。
提案手法により,MFVI問題を3つの異なる方法で表現できる。
厳密な保証は、座標の漸進的変分推論アルゴリズムの時分割的な実装が限界の勾配フローをもたらすことを示すために確立される。
論文 参考訳(メタデータ) (2022-10-20T16:26:22Z) - Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。
本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。
いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-07-14T18:18:02Z) - The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。
ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。
ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
論文 参考訳(メタデータ) (2022-06-14T12:30:11Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳(メタデータ) (2021-11-29T15:10:09Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Monotonic Alpha-divergence Minimisation for Variational Inference [0.0]
本稿では,変化推論の文脈で$alpha$-divergence最小化を実行する新しい反復アルゴリズム群を紹介する。
それらは、変動分布と後続分布の間の$alpha$-divergenceの各ステップにおいて、体系的に減少することを保証する。
論文 参考訳(メタデータ) (2021-03-09T19:41:03Z) - The EM Perspective of Directional Mean Shift Algorithm [3.60425753550939]
指向性平均シフト (DMS) アルゴリズムは、単位超球面上のカーネル密度推定器によって定義される局所的な密度モードを求める非パラメトリックな手法である。
任意のdmsを一般化期待最大化(em)アルゴリズムと見なすことができることを示す。
論文 参考訳(メタデータ) (2021-01-25T13:17:12Z) - Efficient Consensus Model based on Proximal Gradient Method applied to
Convolutional Sparse Problems [2.335152769484957]
我々は、勾配近似(PG)アプローチに基づく効率的なコンセンサスアルゴリズムの理論解析を導出し、詳述する。
提案アルゴリズムは、異常検出タスクに対する別の特別な畳み込み問題にも適用できる。
論文 参考訳(メタデータ) (2020-11-19T20:52:48Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳(メタデータ) (2020-06-15T02:57:57Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳(メタデータ) (2020-06-11T18:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。