論文の概要: Choosing the Sample with Lowest Loss makes SGD Robust

• arxiv url: http://arxiv.org/abs/2001.03316v1
• Date: Fri, 10 Jan 2020 05:39:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 22:46:32.860600
• Title: Choosing the Sample with Lowest Loss makes SGD Robust
• Title（参考訳）: 低損失でサンプルを選択するSGD Robust
• Authors: Vatsal Shah, Xiaoxia Wu, Sujay Sanghavi
• Abstract要約: 各ステップで単純な勾配降下法(SGD)を提案する。 しかし、バニラは最小の損失で非電流和を効果的に最小化する新しいアルゴリズムである。 ML問題に対するこの考え方の理論的分析は、小規模なニューラルネットワーク実験によって裏付けられている。
• 参考スコア（独自算出の注目度）: 19.08973384659313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The presence of outliers can potentially significantly skew the parameters of machine learning models trained via stochastic gradient descent (SGD). In this paper we propose a simple variant of the simple SGD method: in each step, first choose a set of k samples, then from these choose the one with the smallest current loss, and do an SGD-like update with this chosen sample. Vanilla SGD corresponds to k = 1, i.e. no choice; k >= 2 represents a new algorithm that is however effectively minimizing a non-convex surrogate loss. Our main contribution is a theoretical analysis of the robustness properties of this idea for ML problems which are sums of convex losses; these are backed up with linear regression and small-scale neural network experiments
• Abstract（参考訳）: 外れ値の存在は、確率勾配降下(SGD)によってトレーニングされた機械学習モデルのパラメータを著しく歪める可能性がある。 本稿では,単純な sgd 法の簡易な変種を提案する。各ステップでまず k 個のサンプルを選択し,それから最小の電流損失を持つサンプルを選択し,このサンプルで sgd 風の更新を行う。 バニラ SGD は k = 1、すなわち選択しない; k >= 2 は、しかしながら非凸代理損失を効果的に最小化する新しいアルゴリズムを表す。 我々の主な貢献は、凸損失の和であるML問題に対するこの考え方の堅牢性に関する理論的解析である。

関連論文リスト

• A semi-supervised learning using over-parameterized regression [0.0]
  半教師付き学習(SSL)は機械学習において重要なテーマである。 本稿では,未ラベルサンプルに関する情報をカーネル関数に組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-09-06T03:05:35Z)
• Escaping mediocrity: how two-layer networks learn hard generalized linear models with SGD [29.162265194920522]
  本研究では,グラディエント・Descent (SGD) の下で一般化線形目標関数を学習するための2層ニューラルネットワークのサンプル複雑性について検討する。 オーバーファクター化は、この問題クラス内の定数因子による収束を増大させることしかできないことを示す。 しかし,このプロセスの決定論的近似は脱走時間を適切に表現し,SGDityの役割は最小限である可能性が示唆された。
  論文  参考訳（メタデータ） (2023-05-29T14:40:56Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
  モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。 我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
  論文  参考訳（メタデータ） (2022-05-27T19:39:24Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Stochastic Gradient Descent Meets Distribution Regression [0.0]
  勾配降下(SGD)は、幅広い機械学習問題を解決するためのシンプルで効率的な方法である。 本稿では,2段階のサンプリングを含む分布回帰(DR)に注目した。
  論文  参考訳（メタデータ） (2020-10-24T09:03:00Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。