論文の概要: Better scalability under potentially heavy-tailed gradients

• arxiv url: http://arxiv.org/abs/2006.00784v2
• Date: Tue, 15 Dec 2020 04:45:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 06:03:17.510321
• Title: Better scalability under potentially heavy-tailed gradients
• Title（参考訳）: 重み付き勾配下でのスケーラビリティ向上
• Authors: Matthew J. Holland
• Abstract要約: 本研究では, 勾配の重み付けに使用可能なロバスト勾配勾配降下法(RGD)のスケーラブルな代替法について検討する。 それぞれのステップでグラデーションをしっかりと集約する代わりに、分割されたデータに対して1回のパスで実行される安価なサブプロセスの大半からそれほど遠く離れない候補を選択します。
• 参考スコア（独自算出の注目度）: 9.36599317326032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a scalable alternative to robust gradient descent (RGD) techniques that can be used when the gradients can be heavy-tailed, though this will be unknown to the learner. The core technique is simple: instead of trying to robustly aggregate gradients at each step, which is costly and leads to sub-optimal dimension dependence in risk bounds, we choose a candidate which does not diverge too far from the majority of cheap stochastic sub-processes run for a single pass over partitioned data. In addition to formal guarantees, we also provide empirical analysis of robustness to perturbations to experimental conditions, under both sub-Gaussian and heavy-tailed data. The result is a procedure that is simple to implement, trivial to parallelize, which keeps the formal strength of RGD methods but scales much better to large learning problems.
• Abstract（参考訳）: 本研究では, 勾配を重み付けできる場合, 使用可能なロバスト勾配勾配降下法(RGD)のスケーラブルな代替法について検討する。 各ステップでグラデーションを頑健に集約する代わりに、コストが高く、リスク境界の準最適次元依存性をもたらす代わりに、分割されたデータに対して実行される安価な確率的サブプロセスの大多数からそれほど遠く離れない候補を選択する。 フォーマルな保証に加えて、ガウス級および重尾級の両データの下で、実験条件に対する摂動に対する堅牢性の実証分析も提供する。 その結果、実装が簡単で、並列化が簡単で、RGD法の形式的強度を保ちながら、大規模な学習問題に対してはるかに優れたスケールを実現することができる。

関連論文リスト

• Dealing with unbounded gradients in stochastic saddle-point optimization [9.983014605039658]
  本研究では,凸凹関数のサドル点を求める一階法の性能について検討する。 悪名高い課題は、最適化中に勾配が任意に大きくなることだ。 本稿では,反復を安定化し,有意義な性能保証を与える,シンプルで効果的な正則化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T16:13:49Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• Zeroth-Order Hard-Thresholding: Gradient Error vs. Expansivity [34.84170466506512]
  本稿では,新しいランダムサンプリングを用いた一般ZO勾配推定器を用いたゼロ階ハードスレッディング(SZOHT)アルゴリズムを提案する。 SZOHTの問合せ複雑性は, 異なる条件下での次元性に依存しないか, あるいは弱く依存していることが判明した。
  論文  参考訳（メタデータ） (2022-10-11T09:23:53Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Better scalability under potentially heavy-tailed feedback [6.903929927172917]
  損失や勾配の重み付けが可能である場合に使用できる,ロバスト勾配勾配降下法(RGD)のスケーラブルな代替手法について検討する。 我々は、並列に実行できる安価なサブプロセスの集合に基づいて、強力な候補を堅牢に選択することに集中する。 正確な選択プロセスは、基礎となる目的の凸性に依存するが、すべての場合において、我々の選択手法は弱い学習者の信頼を高める頑健な方法である。
  論文  参考訳（メタデータ） (2020-12-14T08:56:04Z)
• SSGD: A safe and efficient method of gradient descent [0.5099811144731619]
  勾配降下法は様々な最適化問題を解く上で重要な役割を果たしている。 超勾配降下法による勾配長の隠蔽によるパラメータの更新 我々のアルゴリズムは勾配に対する攻撃に対して防御できる。
  論文  参考訳（メタデータ） (2020-12-03T17:09:20Z)
• A Bregman Method for Structure Learning on Sparse Directed Acyclic Graphs [84.7328507118758]
  構造学習のためのBregman近位勾配法を開発した。 高い非線形反復に対する曲率の影響を計測する。 様々な合成および実集合上で本手法をテストする。
  論文  参考訳（メタデータ） (2020-11-05T11:37:44Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)
• Improved scalability under heavy tails, without strong convexity [9.36599317326032]
  本稿では,損失と勾配の両面が重く抑えられる場合に活用できる,単純なアルゴリズム戦略について検討する。 本研究は, 高損失下では, 簡易なクロスバリデーションにより, 提案手法を置き換えることができないことを示す。 当社には,透過的な保証を備えたスケーラブルなメソッドがあります。
  論文  参考訳（メタデータ） (2020-06-02T03:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。