論文の概要: Robust learning with anytime-guaranteed feedback

• arxiv url: http://arxiv.org/abs/2105.11135v1
• Date: Mon, 24 May 2021 07:31:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:27:46.817440
• Title: Robust learning with anytime-guaranteed feedback
• Title（参考訳）: 随時学習によるロバスト学習
• Authors: Matthew J. Holland
• Abstract要約: 勾配に基づく学習アルゴリズムは、ほとんど性能保証のないクエリフィードバックによって駆動される。 ここでは、高確率エラーバウンダリを許容する修正された"常にオンラインからバッチ"メカニズムについて検討する。 実際に、実世界のデータアプリケーションで注目すべき利益をあげている。
• 参考スコア（独自算出の注目度）: 6.903929927172917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Under data distributions which may be heavy-tailed, many stochastic gradient-based learning algorithms are driven by feedback queried at points with almost no performance guarantees on their own. Here we explore a modified "anytime online-to-batch" mechanism which for smooth objectives admits high-probability error bounds while requiring only lower-order moment bounds on the stochastic gradients. Using this conversion, we can derive a wide variety of "anytime robust" procedures, for which the task of performance analysis can be effectively reduced to regret control, meaning that existing regret bounds (for the bounded gradient case) can be robustified and leveraged in a straightforward manner. As a direct takeaway, we obtain an easily implemented stochastic gradient-based algorithm for which all queried points formally enjoy sub-Gaussian error bounds, and in practice show noteworthy gains on real-world data applications.
• Abstract（参考訳）: 重み付けされたデータ分布の下では、確率的勾配に基づく学習アルゴリズムの多くは、パフォーマンス保証がほとんどないポイントでクエリされたフィードバックによって駆動される。 ここでは、スムーズな目的のために、確率勾配の低次モーメント境界のみを必要としながら、高い確率誤差境界を許容する修正「常にオンラインからバッチ」機構について検討する。 この変換を用いることで、パフォーマンス分析のタスクを効果的に後悔制御に還元し、既存の後悔境界(有界な勾配の場合)を堅牢化し、直接的な方法で活用できる、幅広い「任意の時間ロバスト」手順を導出することができる。 直接帰結として,全ての問合せ点がガウス以下の誤り境界を形式的に楽しむ確率勾配に基づくアルゴリズムが実装され,実際に実世界のデータアプリケーションにおいて顕著な利得を示す。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
  継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。 メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。 モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-07-30T16:30:09Z)
• Dealing with unbounded gradients in stochastic saddle-point optimization [9.983014605039658]
  本研究では,凸凹関数のサドル点を求める一階法の性能について検討する。 悪名高い課題は、最適化中に勾配が任意に大きくなることだ。 本稿では,反復を安定化し,有意義な性能保証を与える,シンプルで効果的な正則化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T16:13:49Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Low-memory stochastic backpropagation with multi-channel randomized trace estimation [6.985273194899884]
  ニューラルネットワークにおける畳み込み層の勾配を多チャンネルランダム化トレース推定手法を用いて近似する。 他の手法と比較して、このアプローチは単純で分析に適しており、メモリフットプリントを大幅に削減する。 本稿では、バックプロパゲーションでトレーニングしたネットワークの性能と、メモリ使用量の最大化と計算オーバーヘッドの最小化を図りながら、エラーを制御する方法について論じる。
  論文  参考訳（メタデータ） (2021-06-13T13:54:02Z)
• Stochastic Reweighted Gradient Descent [4.355567556995855]
  SRG(stochastic reweighted gradient)と呼ばれる重要サンプリングに基づくアルゴリズムを提案する。 我々は、提案手法の時間とメモリオーバーヘッドに特に注意を払っています。 我々はこの発見を裏付ける実験結果を示す。
  論文  参考訳（メタデータ） (2021-03-23T04:09:43Z)
• Acceleration via Fractal Learning Rate Schedules [37.878672787331105]
  学習率のスケジュールは理解が困難であり、チューニングに費用がかかることが知られている。 我々は,数値解析文献からの反復的アルゴリズムを,バニラ勾配降下を加速するためのチェビシェフ学習率スケジュールと再解釈する。 深層学習における「安定性の最先端」の理解に挑戦するための実験と議論を行う。
  論文  参考訳（メタデータ） (2021-03-01T22:52:13Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• Regret minimization in stochastic non-convex learning via a proximal-gradient approach [80.59047515124198]
  機械学習やオペレーションの応用によって動機づけられた私たちは、オンラインで制約された問題を最小化するために、一階のオラクルフィードバックを後悔しています。 我々は、近位複雑性低減技術を保証する新しいプロキシグレードを開発する。
  論文  参考訳（メタデータ） (2020-10-13T09:22:21Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。