Fugu-MT 論文翻訳(概要): Unified analysis of SGD-type methods

論文の概要: Unified analysis of SGD-type methods

arxiv url: http://arxiv.org/abs/2303.16502v1
Date: Wed, 29 Mar 2023 07:25:03 GMT
ステータス: 処理完了
システム内更新日: 2023-03-30 15:47:46.443214
Title: Unified analysis of SGD-type methods
Title（参考訳）: SGD型法の統一解析
Authors: Eduard Gorbunov
Abstract要約: このノートは、(Gorbunov et al., 2020) からのSGD型手法の統一的解析への単純なアプローチに焦点を当てている。フレームワークの既存の拡張とともに、異なる一階法の解析における類似性について論じる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This note focuses on a simple approach to the unified analysis of SGD-type methods from (Gorbunov et al., 2020) for strongly convex smooth optimization problems. The similarities in the analyses of different stochastic first-order methods are discussed along with the existing extensions of the framework. The limitations of the analysis and several alternative approaches are mentioned as well.
Abstract（参考訳）: 本論は, sgd 型法 (gorbunov et al., 2020) の強凸最適化問題に対する統一的解析への簡単なアプローチに注目したものである。異なる確率的一階法の解析における類似性について,既存のフレームワークの拡張とともに論じる。分析の限界といくつかの代替アプローチも言及されている。

関連論文リスト

A KL-based Analysis Framework with Applications to Non-Descent Optimization Methods [5.779838187603272]
クルディカ・ロジャシエヴィチ特性に基づく非発散型シナリオにおける非発散型最適化手法の新しい枠組みを提案する。
論文参考訳（メタデータ） (2024-06-04T12:49:46Z)
A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文参考訳（メタデータ） (2024-05-24T21:09:19Z)
Functional Generalized Canonical Correlation Analysis for studying multiple longitudinal variables [0.9208007322096533]
FGCCA(Functional Generalized Canonical correlation Analysis)は、共同で観測される複数のランダムプロセス間の関連を探索する新しいフレームワークである。我々は,解法の単調性を確立し,標準成分を推定するためのベイズ的アプローチを導入する。本稿では,縦断データセットにユースケースを提示し,シミュレーション研究における手法の効率性を評価する。
論文参考訳（メタデータ） (2023-10-11T09:21:31Z)
High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise [96.80184504268593]
グラデーション、クリッピングは、優れた高確率保証を導き出すアルゴリズムの鍵となる要素の1つである。クリッピングは、合成および分散最適化の一般的な方法の収束を損なう可能性がある。
論文参考訳（メタデータ） (2023-10-03T07:49:17Z)
Sublinear Convergence Rates of Extragradient-Type Methods: A Survey on Classical and Recent Developments [12.995632804090198]
外部分解性(EG)は、サドルポイント問題の解を近似するためのよく知られた方法である。近年,機械学習の新たな応用やロバストな最適化により,これらの手法が普及している。アルゴリズムの異なるクラスに対する統一収束解析を提供し、サブ線形のベストイテレートとラストイテレート収束率に重点を置いている。
論文参考訳（メタデータ） (2023-03-30T07:04:22Z)
Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
論文参考訳（メタデータ） (2022-02-15T09:17:39Z)
A Simple Information-Based Approach to Unsupervised Domain-Adaptive Aspect-Based Sentiment Analysis [58.124424775536326]
本稿では,相互情報に基づくシンプルだが効果的な手法を提案し,それらの用語を抽出する。実験の結果,提案手法はクロスドメインABSAの最先端手法よりも4.32%高い性能を示した。
論文参考訳（メタデータ） (2022-01-29T10:18:07Z)
A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文参考訳（メタデータ） (2021-07-23T19:38:17Z)
A Unified Analysis of Stochastic Gradient Methods for Nonconvex Federated Optimization [16.714109768541785]
非非状態におけるSGD不変量を満たすすべての方法について単一の解析を行う。また、PL条件下での非非状態におけるより高速な線形収束を得るための統一解析も提供する。
論文参考訳（メタデータ） (2020-06-12T08:58:03Z)
Sparse Methods for Automatic Relevance Determination [0.0]
まず、自動妥当性決定(ARD)について検討し、スパースモデルを実現するために、追加の正規化やしきい値設定の必要性を解析的に実証する。次に、正規化ベースとしきい値ベースという2つの手法のクラスについて論じる。
論文参考訳（メタデータ） (2020-05-18T14:08:49Z)
Understanding Nesterov's Acceleration via Proximal Point Method [52.99237600875452]
近似点法(PPM)は最適化アルゴリズムを設計するためのビルディングブロックとしてよく用いられる。本研究では、PPM法を用いて、Nesterovの加速度勾配法(AGM)の異なるバージョンの収束解析とともに、概念的に単純な導出を提供する。
論文参考訳（メタデータ） (2020-05-17T17:17:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。