論文の概要: Improved scalability under heavy tails, without strong convexity
- arxiv url: http://arxiv.org/abs/2006.01364v2
- Date: Tue, 15 Dec 2020 04:46:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 23:26:38.119183
- Title: Improved scalability under heavy tails, without strong convexity
- Title（参考訳）: 強凸性のない重尾部でのスケーラビリティ向上
- Authors: Matthew J. Holland
- Abstract要約: 本稿では,損失と勾配の両面が重く抑えられる場合に活用できる,単純なアルゴリズム戦略について検討する。
本研究は, 高損失下では, 簡易なクロスバリデーションにより, 提案手法を置き換えることができないことを示す。
当社には,透過的な保証を備えたスケーラブルなメソッドがあります。
- 参考スコア（独自算出の注目度）: 9.36599317326032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world data is laden with outlying values. The challenge for machine
learning is that the learner typically has no prior knowledge of whether the
feedback it receives (losses, gradients, etc.) will be heavy-tailed or not. In
this work, we study a simple algorithmic strategy that can be leveraged when
both losses and gradients can be heavy-tailed. The core technique introduces a
simple robust validation sub-routine, which is used to boost the confidence of
inexpensive gradient-based sub-processes. Compared with recent robust gradient
descent methods from the literature, dimension dependence (both risk bounds and
cost) is substantially improved, without relying upon strong convexity or
expensive per-step robustification. Empirically, we also show that under
heavy-tailed losses, the proposed procedure cannot simply be replaced with
naive cross-validation. Taken together, we have a scalable method with
transparent guarantees, which performs well without prior knowledge of how
"convenient" the feedback it receives will be.
- Abstract（参考訳）: 実世界のデータは、外向きの値で並んでいます。
機械学習の課題は、学習者が通常、受け取ったフィードバック(損失、勾配など)が重くなるかどうかについての事前知識がないことである。
本研究では,損失と勾配の両方を重み付けできるような単純なアルゴリズム戦略について検討する。
コア技術は単純なロバスト検証サブルーチンを導入し、安価な勾配ベースのサブプロセスの信頼性を高めるために使用される。
文献からの最近のロバスト勾配降下法と比較すると、強い凸性や高価なステップ単位のロバスト化に頼ることなく、次元依存性(リスク境界とコストの両方)を大幅に改善する。
また,本手法では,過度な損失が伴う場合,簡易なクロスバリデーションに置き換えることができないことを示す。
総合すると、私たちは透過的な保証を備えたスケーラブルなメソッドを用意しています。
関連論文リスト
- On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。
正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。
また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文 参考訳（メタデータ） (2024-02-20T16:01:42Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Sampling-based Fast Gradient Rescaling Method for Highly Transferable
Adversarial Attacks [18.05924632169541]
サンプリングに基づく高速勾配再スケーリング法(S-FGRM)を提案する。
具体的には、余分な計算コストを伴わずに手話関数を置換するためにデータ再スケーリングを用いる。
本手法は, 勾配に基づく攻撃の伝達可能性を大幅に向上させ, 最先端のベースラインより優れる可能性がある。
論文 参考訳（メタデータ） (2023-07-06T07:52:42Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z) - Efficient First-Order Contextual Bandits: Prediction, Allocation, and
Triangular Discrimination [82.52105963476703]
統計的学習、オンライン学習、その他における繰り返しのテーマは、低騒音の問題に対してより速い収束率が可能であることである。
1次保証は統計的およびオンライン学習において比較的よく理解されている。
三角識別と呼ばれる対数損失と情報理論量が一階保証を得る上で基本的な役割を担っていることを示す。
論文 参考訳（メタデータ） (2021-07-05T19:20:34Z) - Robust learning with anytime-guaranteed feedback [6.903929927172917]
勾配に基づく学習アルゴリズムは、ほとんど性能保証のないクエリフィードバックによって駆動される。
ここでは、高確率エラーバウンダリを許容する修正された"常にオンラインからバッチ"メカニズムについて検討する。
実際に、実世界のデータアプリケーションで注目すべき利益をあげている。
論文 参考訳（メタデータ） (2021-05-24T07:31:52Z) - Better scalability under potentially heavy-tailed feedback [6.903929927172917]
損失や勾配の重み付けが可能である場合に使用できる,ロバスト勾配勾配降下法(RGD)のスケーラブルな代替手法について検討する。
我々は、並列に実行できる安価なサブプロセスの集合に基づいて、強力な候補を堅牢に選択することに集中する。
正確な選択プロセスは、基礎となる目的の凸性に依存するが、すべての場合において、我々の選択手法は弱い学習者の信頼を高める頑健な方法である。
論文 参考訳（メタデータ） (2020-12-14T08:56:04Z) - SSGD: A safe and efficient method of gradient descent [0.5099811144731619]
勾配降下法は様々な最適化問題を解く上で重要な役割を果たしている。
超勾配降下法による勾配長の隠蔽によるパラメータの更新
我々のアルゴリズムは勾配に対する攻撃に対して防御できる。
論文 参考訳（メタデータ） (2020-12-03T17:09:20Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-05T04:19:37Z) - Better scalability under potentially heavy-tailed gradients [9.36599317326032]
本研究では, 勾配の重み付けに使用可能なロバスト勾配勾配降下法(RGD)のスケーラブルな代替法について検討する。
それぞれのステップでグラデーションをしっかりと集約する代わりに、分割されたデータに対して1回のパスで実行される安価なサブプロセスの大半からそれほど遠く離れない候補を選択します。
論文 参考訳（メタデータ） (2020-06-01T08:16:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。