論文の概要: Resampling Stochastic Gradient Descent Cheaply for Efficient Uncertainty Quantification

• arxiv url: http://arxiv.org/abs/2310.11065v1
• Date: Tue, 17 Oct 2023 08:18:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 17:01:07.187161
• Title: Resampling Stochastic Gradient Descent Cheaply for Efficient Uncertainty Quantification
• Title（参考訳）: 高精度不確かさ定量化のための確率的勾配降下チープのサンプリング
• Authors: Henry Lam, Zitong Wang
• Abstract要約: 本稿では,SGDソリューションの信頼性区間を構築するために,計算的に安価に再サンプリングする2つの手法について検討する。 データのリサンプリングと置換によって複数のSGDを並行して使用するものもあれば、オンライン形式で運用するものもある。
• 参考スコア（独自算出の注目度）: 6.832893024035705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent (SGD) or stochastic approximation has been widely used in model training and stochastic optimization. While there is a huge literature on analyzing its convergence, inference on the obtained solutions from SGD has only been recently studied, yet is important due to the growing need for uncertainty quantification. We investigate two computationally cheap resampling-based methods to construct confidence intervals for SGD solutions. One uses multiple, but few, SGDs in parallel via resampling with replacement from the data, and another operates this in an online fashion. Our methods can be regarded as enhancements of established bootstrap schemes to substantially reduce the computation effort in terms of resampling requirements, while at the same time bypassing the intricate mixing conditions in existing batching methods. We achieve these via a recent so-called cheap bootstrap idea and Berry-Esseen-type bound for SGD.
• Abstract（参考訳）: 確率勾配勾配(SGD)や確率近似はモデルトレーニングや確率最適化に広く用いられている。 収束の解析には膨大な文献があるが、SGDから得られた解に対する推論は近年研究されているばかりであるが、不確実性定量化の必要性が高まっているため重要である。 本稿では,SGDソリューションの信頼性区間を構築するために,計算的に安価に再サンプリングする2つの手法について検討する。 1つは複数のsgdをデータの代わりに再サンプリングすることで並行して使用し、もう1つはオンライン方式で運用する。 本手法は,既存のバッチ方式の複雑な混合条件を回避しつつ,再サンプリング要求の観点から計算労力を大幅に削減するために,確立されたブートストラップ方式の強化とみなすことができる。 我々は、最近の安価なブートストラップアイデアと、SGDのためのBerry-Esseen型バウンドによって実現した。

関連論文リスト

• Scalable Signature-Based Distribution Regression via Reference Sets [1.8980236415886387]
  パスシグネチャは、シグネチャベースの機能を通じてパスに符号化された情報を活用するために使用される。 アートDRソリューションの現在の状態は、メモリ集約的で、高コストである。 この計算ボトルネックは、アプリケーションを小さなサンプルサイズに制限する。 本稿では,上記の問題に対処する手法を提案する。 また,多様な学習タスクにDRを使用できるパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:58:28Z)
• CoLiDE: Concomitant Linear DAG Estimation [12.415463205960156]
  観測データから線形方程式への非巡回グラフ構造学習の問題に対処する。 本稿では,空間認識学習DAGのための新しい凸スコア関数を提案する。
  論文  参考訳（メタデータ） (2023-10-04T15:32:27Z)
• SketchySGD: Reliable Stochastic Optimization via Randomized Curvature Estimates [19.420605210427635]
  SketchySGDは、サブサンプルヘッセンに対するランダム化低ランク近似を用いることで、機械学習の既存の勾配法を改善する。 固定段数を持つSketchySGDが最適の周りの小さな球に線形に収束することを理論的に示す。 条件のない設定では、最小二乗問題に対してSketchySGDはSGDよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2022-11-16T01:05:41Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Stochastic Reweighted Gradient Descent [4.355567556995855]
  SRG(stochastic reweighted gradient)と呼ばれる重要サンプリングに基づくアルゴリズムを提案する。 我々は、提案手法の時間とメモリオーバーヘッドに特に注意を払っています。 我々はこの発見を裏付ける実験結果を示す。
  論文  参考訳（メタデータ） (2021-03-23T04:09:43Z)
• Second-order step-size tuning of SGD for non-convex optimization [6.021787236982659]
  本稿では,バニラSGDの直接的かつ簡便な改良の観点から,ミニバッチケースのステップサイズを微調整する。 古典的なbarzilai-borwein法のバージョンと見なすことができる新しい一階勾配法(ステップ調整sgd)を得る。
  論文  参考訳（メタデータ） (2021-03-05T10:01:48Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。