論文の概要: Carath\'eodory Sampling for Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2006.01819v2
• Date: Wed, 25 Nov 2020 17:13:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 00:02:47.939251
• Title: Carath\'eodory Sampling for Stochastic Gradient Descent
• Title（参考訳）: 確率的勾配降下に対するカラス・エオディーサンプリング
• Authors: Francesco Cosentino, Harald Oberhauser, Alessandro Abate
• Abstract要約: 本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
• 参考スコア（独自算出の注目度）: 79.55586575988292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many problems require to optimize empirical risk functions over large data sets. Gradient descent methods that calculate the full gradient in every descent step do not scale to such datasets. Various flavours of Stochastic Gradient Descent (SGD) replace the expensive summation that computes the full gradient by approximating it with a small sum over a randomly selected subsample of the data set that in turn suffers from a high variance. We present a different approach that is inspired by classical results of Tchakaloff and Carath\'eodory about measure reduction. These results allow to replace an empirical measure with another, carefully constructed probability measure that has a much smaller support, but can preserve certain statistics such as the expected gradient. To turn this into scalable algorithms we firstly, adaptively select the descent steps where the measure reduction is carried out; secondly, we combine this with Block Coordinate Descent so that measure reduction can be done very cheaply. This makes the resulting methods scalable to high-dimensional spaces. Finally, we provide an experimental validation and comparison.
• Abstract（参考訳）: 多くの問題は、大規模なデータセット上で経験的リスク関数を最適化する必要がある。 各降下ステップの完全な勾配を計算する勾配降下法はそのようなデータセットにスケールしない。 確率勾配 Descent (SGD) の様々な風味は、高分散に苦しむデータセットのランダムに選択されたサブサンプルに対して小さな和で近似することで、全勾配を計算する高価な和に取って代わる。 そこで本研究では,tchakaloff と carath\'eodory による測度還元に関する古典的結果に触発された異なるアプローチを提案する。 これらの結果により、実験的な測度を、はるかに小さい支持を持つが期待される勾配のような統計を保存できる、注意深く構築された別の確率測度に置き換えることができる。 これをスケーラブルなアルゴリズムに変換するために、まず、測定値の削減を行う降下ステップを適応的に選択し、次に、測定値の削減を非常に安価に行えるようにブロック座標Descentと組み合わせる。 これにより、結果のメソッドは高次元空間にスケーラブルになる。 最後に,実験的な検証と比較を行う。

関連論文リスト

• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
  勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。 得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。 このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
  論文  参考訳（メタデータ） (2022-10-28T14:56:18Z)
• Convergence of Batch Stochastic Gradient Descent Methods with Approximate Gradients and/or Noisy Measurements: Theory and Computational Results [0.9900482274337404]
  BSGD(Block Gradient Descent)と呼ばれる非常に一般的な定式化を用いた凸最適化の研究 我々は近似理論に基づいて,BSGDが世界最小値に収束する条件を確立する。 近似勾配を用いると、BSGDは収束し、運動量に基づく手法は分岐できることを示す。
  論文  参考訳（メタデータ） (2022-09-12T16:23:15Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
  StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
  論文  参考訳（メタデータ） (2021-11-26T06:00:44Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Reparametrizing gradient descent [0.0]
  本稿では,ノルム適応勾配勾配という最適化アルゴリズムを提案する。 我々のアルゴリズムは準ニュートン法と比較することもできるが、定常点ではなく根を求める。
  論文  参考訳（メタデータ） (2020-10-09T20:22:29Z)
• Byzantine-Resilient SGD in High Dimensions on Heterogeneous Data [10.965065178451104]
  ビザンチン攻撃下での主作業者アーキテクチャにおける分散勾配降下(SGD)について検討した。 我々のアルゴリズムは、最大で$frac14$のビザンティン労働者を許容できる。
  論文  参考訳（メタデータ） (2020-05-16T04:15:27Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。