論文の概要: SGD with Coordinate Sampling: Theory and Practice
- arxiv url: http://arxiv.org/abs/2105.11818v1
- Date: Tue, 25 May 2021 10:37:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-26 14:27:26.308155
- Title: SGD with Coordinate Sampling: Theory and Practice
- Title(参考訳): コーディネートサンプリングによるSGD:理論と実践
- Authors: R\'emi Leluc and Fran\c{c}ois Portier
- Abstract要約: MUSKETEERは大規模問題に対する適応勾配降下アルゴリズムである。
ノイズ勾配上で最も座標座標をサンプリングし、一方向に沿って動き、座標が大幅に減少する。
合成データと実データの両方に関する数値実験により,大規模問題におけるMUSKETEERの有効性が確認された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While classical forms of stochastic gradient descent algorithm treat the
different coordinates in the same way, a framework allowing for adaptive (non
uniform) coordinate sampling is developed to leverage structure in data. In a
non-convex setting and including zeroth order gradient estimate, almost sure
convergence as well as non-asymptotic bounds are established. Within the
proposed framework, we develop an algorithm, MUSKETEER, based on a
reinforcement strategy: after collecting information on the noisy gradients, it
samples the most promising coordinate (all for one); then it moves along the
one direction yielding an important decrease of the objective (one for all).
Numerical experiments on both synthetic and real data examples confirm the
effectiveness of MUSKETEER in large scale problems.
- Abstract(参考訳): 古典的な確率勾配降下アルゴリズムは、異なる座標を同じように扱うが、適応的な(一様でない)座標サンプリングが可能なフレームワークを開発し、データの構造を利用する。
非凸設定およびゼロ階勾配推定を含む場合、ほぼ確実に収束と非漸近境界が確立される。
提案手法では,雑音勾配に関する情報を収集した後,最も有望な座標(すべて1つ)を抽出し,目的(すべて)の重要な減少をもたらす一方向に沿って移動させるという,強化戦略に基づくアルゴリズム MUSKETEER を開発した。
合成データと実データの両方に関する数値実験により,大規模問題におけるMUSKETEERの有効性が確認された。
関連論文リスト
- Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳(メタデータ) (2023-09-07T16:55:50Z) - Sample Complexity for Quadratic Bandits: Hessian Dependent Bounds and
Optimal Algorithms [64.10576998630981]
最適なヘッセン依存型サンプルの複雑さを, 初めて厳密に評価した。
ヘシアン非依存のアルゴリズムは、すべてのヘシアンインスタンスに対して最適なサンプル複雑さを普遍的に達成する。
本アルゴリズムにより得られたサンプルの最適複雑さは,重み付き雑音分布においても有効である。
論文 参考訳(メタデータ) (2023-06-21T17:03:22Z) - Tackling Data Heterogeneity: A New Unified Framework for Decentralized
SGD with Sample-induced Topology [6.6682038218782065]
我々は,経験的リスク最小化問題に対して,勾配に基づく最適化手法を統一する汎用フレームワークを開発した。
本稿では,SAGA,Local-SVRG,GT-SAGAなどの分散還元(VR)および勾配追跡(GT)手法の統一的な視点を提供する。
その結果、VRとGTの手法は、それぞれデバイス内およびデバイス間のデータを効果的に排除し、アルゴリズムを最適解に正確に収束させることができることがわかった。
論文 参考訳(メタデータ) (2022-07-08T07:50:08Z) - The Manifold Hypothesis for Gradient-Based Explanations [47.51736323833013]
勾配に基づく説明アルゴリズムは意味のある説明を提供する。
特徴属性がデータの接空間と一致すればなるほど、構造的かつ説明的になりがちであることを示す。
部分的には、敵対的なトレーニングによって達成できるため、すべてのデータセットの整合性が向上する。
論文 参考訳(メタデータ) (2022-06-15T08:49:24Z) - Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。
我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。
我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
論文 参考訳(メタデータ) (2021-10-21T14:47:06Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Stochastic Compositional Gradient Descent under Compositional
constraints [13.170519806372075]
目的関数と制約関数が凸であり,関数の合成として表される制約最適化問題について検討する。
この問題は、公平な分類/回帰とキューシステムの設計に生じる。
提案手法は最適かつ実現可能な解をほぼ確実に見つけることが保証されている。
論文 参考訳(メタデータ) (2020-12-17T05:38:37Z) - Model identification and local linear convergence of coordinate descent [74.87531444344381]
循環座標降下は、幅広い種類の関数に対して有限時間でモデル同定を達成することを示す。
また、座標降下に対する局所収束速度を明示的に証明する。
論文 参考訳(メタデータ) (2020-10-22T16:03:19Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。