論文の概要: SGD with Coordinate Sampling: Theory and Practice

• arxiv url: http://arxiv.org/abs/2105.11818v1
• Date: Tue, 25 May 2021 10:37:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 14:27:26.308155
• Title: SGD with Coordinate Sampling: Theory and Practice
• Title（参考訳）: コーディネートサンプリングによるSGD:理論と実践
• Authors: R\'emi Leluc and Fran\c{c}ois Portier
• Abstract要約: MUSKETEERは大規模問題に対する適応勾配降下アルゴリズムである。 ノイズ勾配上で最も座標座標をサンプリングし、一方向に沿って動き、座標が大幅に減少する。 合成データと実データの両方に関する数値実験により,大規模問題におけるMUSKETEERの有効性が確認された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While classical forms of stochastic gradient descent algorithm treat the different coordinates in the same way, a framework allowing for adaptive (non uniform) coordinate sampling is developed to leverage structure in data. In a non-convex setting and including zeroth order gradient estimate, almost sure convergence as well as non-asymptotic bounds are established. Within the proposed framework, we develop an algorithm, MUSKETEER, based on a reinforcement strategy: after collecting information on the noisy gradients, it samples the most promising coordinate (all for one); then it moves along the one direction yielding an important decrease of the objective (one for all). Numerical experiments on both synthetic and real data examples confirm the effectiveness of MUSKETEER in large scale problems.
• Abstract（参考訳）: 古典的な確率勾配降下アルゴリズムは、異なる座標を同じように扱うが、適応的な(一様でない)座標サンプリングが可能なフレームワークを開発し、データの構造を利用する。 非凸設定およびゼロ階勾配推定を含む場合、ほぼ確実に収束と非漸近境界が確立される。 提案手法では,雑音勾配に関する情報を収集した後,最も有望な座標(すべて1つ)を抽出し,目的(すべて)の重要な減少をもたらす一方向に沿って移動させるという,強化戦略に基づくアルゴリズム MUSKETEER を開発した。 合成データと実データの両方に関する数値実験により,大規模問題におけるMUSKETEERの有効性が確認された。

関連論文リスト

• A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning [24.111048817721592]
  フェデレートラーニングは分散勾配降下技術に大きく依存している。 勾配情報が得られない状況では、勾配をゼロ次情報から推定する必要がある。 勾配推定法を改善するための非等方的サンプリング法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T10:36:40Z)
• An Asymptotically Optimal Coordinate Descent Algorithm for Learning Bayesian Networks from Gaussian Models [6.54203362045253]
  線形ガウス構造方程式モデルに基づいて連続観測データからネットワークを学習する問題について検討する。 本稿では,$ell$penalized max chanceの最適目標値に収束する新しい座標降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-21T20:18:03Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Tackling Data Heterogeneity: A New Unified Framework for Decentralized SGD with Sample-induced Topology [6.6682038218782065]
  我々は,経験的リスク最小化問題に対して,勾配に基づく最適化手法を統一する汎用フレームワークを開発した。 本稿では,SAGA,Local-SVRG,GT-SAGAなどの分散還元(VR)および勾配追跡(GT)手法の統一的な視点を提供する。 その結果、VRとGTの手法は、それぞれデバイス内およびデバイス間のデータを効果的に排除し、アルゴリズムを最適解に正確に収束させることができることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T07:50:08Z)
• Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
  本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。 我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。 我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
  論文  参考訳（メタデータ） (2021-10-21T14:47:06Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Model identification and local linear convergence of coordinate descent [74.87531444344381]
  循環座標降下は、幅広い種類の関数に対して有限時間でモデル同定を達成することを示す。 また、座標降下に対する局所収束速度を明示的に証明する。
  論文  参考訳（メタデータ） (2020-10-22T16:03:19Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。