論文の概要: Riemannian optimization for non-centered mixture of scaled Gaussian
distributions
- arxiv url: http://arxiv.org/abs/2209.03315v2
- Date: Sun, 25 Jun 2023 15:21:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 00:46:47.718389
- Title: Riemannian optimization for non-centered mixture of scaled Gaussian
distributions
- Title（参考訳）: スケールドガウス分布の非中心混合に対するリーマン最適化
- Authors: Antoine Collas, Arnaud Breloy, Chengfang Ren, Guillaume Ginolhac,
Jean-Philippe Ovarlez
- Abstract要約: 本稿では,スケールしたガウス分布(NC-MSG)の非中心混合の統計モデルについて検討する。
この分布に付随するフィッシャー・ラオ情報幾何を用いて、リーマン勾配降下アルゴリズムを導出する。
近距離セントロイド分類器は、KLの発散とその関連する質量中心を利用して実装される。
- 参考スコア（独自算出の注目度）: 17.855338784378
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper studies the statistical model of the non-centered mixture of
scaled Gaussian distributions (NC-MSG). Using the Fisher-Rao information
geometry associated to this distribution, we derive a Riemannian gradient
descent algorithm. This algorithm is leveraged for two minimization problems.
The first one is the minimization of a regularized negative log-likelihood
(NLL). The latter makes the trade-off between a white Gaussian distribution and
the NC-MSG. Conditions on the regularization are given so that the existence of
a minimum to this problem is guaranteed without assumptions on the samples.
Then, the Kullback-Leibler (KL) divergence between two NC-MSG is derived. This
divergence enables us to define a minimization problem to compute centers of
mass of several NC-MSGs. The proposed Riemannian gradient descent algorithm is
leveraged to solve this second minimization problem. Numerical experiments show
the good performance and the speed of the Riemannian gradient descent on the
two problems. Finally, a Nearest centroid classifier is implemented leveraging
the KL divergence and its associated center of mass. Applied on the large scale
dataset Breizhcrops, this classifier shows good accuracies as well as
robustness to rigid transformations of the test set.
- Abstract（参考訳）: 本稿では,スケールドガウス分布(nc-msg)の非中心混合の統計モデルについて述べる。
この分布に付随するフィッシャー・ラオ情報幾何を用いて、リーマン勾配降下アルゴリズムを導出する。
このアルゴリズムは2つの最小化問題に利用できる。
1つ目は、正規化負対数(NLL)の最小化である。
後者は、白いガウス分布とNC-MSGとのトレードオフである。
正規化の条件は、この問題に対する最小限の存在がサンプルに対する仮定なしで保証されるように与えられる。
次に、2つのNC−MSG間のKullback-Leibler(KL)ばらつきを導出する。
この分散により、NC-MSGの質量中心を計算するために最小化問題を定義できる。
提案したリーマン勾配降下アルゴリズムを利用して、この第2の最小化問題を解く。
数値実験により、2つの問題に対するリーマン勾配降下の優れた性能と速度が示された。
最後に、KLの発散とその関連する質量中心を利用して、最も近いセントロイド分類器を実装する。
大規模なデータセットであるBrizhcropsに応用されたこの分類器は、テストセットの剛性変換に対する堅牢性だけでなく、良好な精度を示す。
関連論文リスト
- Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians [27.20127082606962]
変分推論(VI)はベイズ推定において一般的なアプローチである。
この研究は、非ガウスの場合のVIの理論研究に寄与することを目的としている。
論文 参考訳（メタデータ） (2024-06-06T12:38:59Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - Accelerated Bayesian imaging by relaxed proximal-point Langevin sampling [4.848683707039751]
本稿では, 画像逆問題におけるベイズ推定を行うために, マルコフ近位連鎖モンテカルロ法を提案する。
モロー・ヨシダの滑らか化によって滑らかにあるいは正規化されるモデルに対しては、中間点は過度に損傷されたランゲヴィン拡散の暗黙の離散化と等価である。
kappa$-strongly log-concaveのターゲットに対しては、提供された非漸近収束解析も最適な時間ステップを特定する。
論文 参考訳（メタデータ） (2023-08-18T10:55:49Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Generalizing Gaussian Smoothing for Random Search [23.381986209234164]
ガウススムースティング(英: Gaussian smoothing、GS)は、現在のベンチマークの摂動を用いて対象の勾配を推定する微分自由最適化アルゴリズムである。
そこで本研究では,MSEが比較的小さいような分布の誤差を最小限に抑えた摂動分布を選択することを提案する。
論文 参考訳（メタデータ） (2022-11-27T04:42:05Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Distributed Sparse Regression via Penalization [5.990069843501885]
エージェントのネットワーク上の線形回帰を、(集中ノードを持たない)無向グラフとしてモデル化する。
推定問題は、局所的なLASSO損失関数の和とコンセンサス制約の2次ペナルティの最小化として定式化される。
本稿では, ペナル化問題に適用した近似勾配アルゴリズムが, 集中的な統計的誤差の順序の許容値まで線形に収束することを示す。
論文 参考訳（メタデータ） (2021-11-12T01:51:50Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z) - On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient
Flow [26.725412498545385]
パラメトリックカーネル化勾配流は、勾配正規化$mathrmMMD$GANにおけるmin-maxゲームに類似していることを示す。
次に、正規化$mathrmMMD$GANにおける生成元の空間上の勾配降下が、対象分布に大域的に収束することを保証する明示的な条件を導出する。
論文 参考訳（メタデータ） (2020-11-04T16:55:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。