論文の概要: Multiplicative Updates for Online Convex Optimization over Symmetric
Cones
- arxiv url: http://arxiv.org/abs/2307.03136v1
- Date: Thu, 6 Jul 2023 17:06:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 13:06:27.617399
- Title: Multiplicative Updates for Online Convex Optimization over Symmetric
Cones
- Title(参考訳): 対称円錐上のオンライン凸最適化のための乗法的更新
- Authors: Ilayda Canyakmaz, Wayne Lin, Georgios Piliouras, Antonios Varvitsiotis
- Abstract要約: 任意の対称コーンのトレースワンスライスに対するオンライン最適化のためのプロジェクションフリーアルゴリズムであるSymmetric-Cone Multiplicative Weights Update (SCMWU)を導入する。
SCMWUは, 対称錐負エントロピーを正則化器とするFollow-the-Regularized-LeaderおよびOnline Mirror Descentと等価であることを示す。
- 参考スコア(独自算出の注目度): 28.815822236291392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study online convex optimization where the possible actions are trace-one
elements in a symmetric cone, generalizing the extensively-studied experts
setup and its quantum counterpart. Symmetric cones provide a unifying framework
for some of the most important optimization models, including linear,
second-order cone, and semidefinite optimization. Using tools from the field of
Euclidean Jordan Algebras, we introduce the Symmetric-Cone Multiplicative
Weights Update (SCMWU), a projection-free algorithm for online optimization
over the trace-one slice of an arbitrary symmetric cone. We show that SCMWU is
equivalent to Follow-the-Regularized-Leader and Online Mirror Descent with
symmetric-cone negative entropy as regularizer. Using this structural result we
show that SCMWU is a no-regret algorithm, and verify our theoretical results
with extensive experiments. Our results unify and generalize the analysis for
the Multiplicative Weights Update method over the probability simplex and the
Matrix Multiplicative Weights Update method over the set of density matrices.
- Abstract(参考訳): オンライン凸最適化(オンライン凸最適化)について検討し、可能なアクションは対称円錐内のトレース1要素であり、広く研究されている専門家のセットアップとその量子対応を一般化する。
対称円錐は、線形、二階錐、半定値最適化を含むいくつかの重要な最適化モデルの統一フレームワークを提供する。
ユークリッドジョルダン代数の分野のツールを用いて、任意の対称錐のトレースワンスライス上でのオンライン最適化のための投影なしアルゴリズムであるscmwu(symmetric-cone multiplicative weights update)を導入する。
SCMWUは, 対称錐負エントロピーを正則化器とするFollow-the-Regularized-LeaderおよびOnline Mirror Descentと等価であることを示す。
この構造的結果を用いて、scmwuは非回帰アルゴリズムであり、広範な実験により理論結果を検証する。
本研究では,確率的単純度を用いた乗法重み更新法と,密度行列の集合上の行列乗法重み更新法を統合し,一般化する。
関連論文リスト
- Online Variational Sequential Monte Carlo [56.16884466478886]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - Convex Parameter Estimation of Perturbed Multivariate Generalized
Gaussian Distributions [18.95928707619676]
本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。
提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。
実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
論文 参考訳(メタデータ) (2023-12-12T18:08:04Z) - Accelerated Discovery of Machine-Learned Symmetries: Deriving the
Exceptional Lie Groups G2, F4 and E6 [55.41644538483948]
このレターでは、対称性変換の発見を著しく高速化する2つの改良されたアルゴリズムを紹介している。
例外的リー群の複雑性を考えると,この機械学習手法は完全に汎用的であり,多種多様なラベル付きデータセットに適用可能であることを示す。
論文 参考訳(メタデータ) (2023-07-10T20:25:44Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳(メタデータ) (2022-10-21T13:19:45Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Characterization of variational quantum algorithms using free fermions [0.0]
我々はこれらの対称性と対象状態の局所性の間の相互作用を数値的に研究する。
解に収束するイテレーションの数は、システムサイズと線形にスケールする。
論文 参考訳(メタデータ) (2022-06-13T18:11:16Z) - On Riemannian Optimization over Positive Definite Matrices with the
Bures-Wasserstein Geometry [45.1944007785671]
本稿では,Bres-Wasserstein (BW) 幾何を一般的な Affine-Invariant (AI) 幾何を用いて解析する。
我々は、AIメトリックの二次的依存とは対照的に、BWメトリックがSPD行列に線形依存しているという観測に基づいて構築する。
BW幾何学は非負の曲率を持ち、非正の曲線を持つAI幾何に対するアルゴリズムの収束率をさらに向上させることを示す。
論文 参考訳(メタデータ) (2021-06-01T07:39:19Z) - On the Efficient Implementation of the Matrix Exponentiated Gradient
Algorithm for Low-Rank Matrix Optimization [26.858608065417663]
スペクトル上の凸最適化は、機械学習、信号処理、統計学に重要な応用がある。
低ランク行列による最適化に適したMEGの効率的な実装を提案し、各イテレーションで単一の低ランクSVDのみを使用する。
また,本手法の正しい収束のための効率よく計算可能な証明書も提供する。
論文 参考訳(メタデータ) (2020-12-18T19:14:51Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-23T01:34:18Z) - Nonconvex Matrix Completion with Linearly Parameterized Factors [10.163102766021373]
パラメトリック因子化は、部分空間や完了シミュレーションを含む重要な例を示す。
また, 統一的非制約行列最適化法の有効性について述べる。
論文 参考訳(メタデータ) (2020-03-29T22:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。