論文の概要: A Guide Through the Zoo of Biased SGD
- arxiv url: http://arxiv.org/abs/2305.16296v1
- Date: Thu, 25 May 2023 17:50:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 13:23:42.585657
- Title: A Guide Through the Zoo of Biased SGD
- Title（参考訳）: 偏りのあるsgd動物園のガイド
- Authors: Yury Demidovich, Grigory Malinovsky, Igor Sokolov, Peter Richt\'arik
- Abstract要約: SGD(Gradient Descent)は、現代の機械学習において最も重要なアルゴリズムである。
我々は、すべての以前の仮定よりも確実に弱い新しい仮定の集合を示す。
偏りのある推定器が偏りのない推定器より優れている場合や、偏りのないバージョンが使えない場合を例に挙げる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic Gradient Descent (SGD) is arguably the most important single
algorithm in modern machine learning. Although SGD with unbiased gradient
estimators has been studied extensively over at least half a century, SGD
variants relying on biased estimators are rare. Nevertheless, there has been an
increased interest in this topic in recent years. However, existing literature
on SGD with biased estimators (BiasedSGD) lacks coherence since each new paper
relies on a different set of assumptions, without any clear understanding of
how they are connected, which may lead to confusion. We address this gap by
establishing connections among the existing assumptions, and presenting a
comprehensive map of the underlying relationships. Additionally, we introduce a
new set of assumptions that is provably weaker than all previous assumptions,
and use it to present a thorough analysis of BiasedSGD in both convex and
non-convex settings, offering advantages over previous results. We also provide
examples where biased estimators outperform their unbiased counterparts or
where unbiased versions are simply not available. Finally, we demonstrate the
effectiveness of our framework through experimental results that validate our
theoretical findings.
- Abstract（参考訳）: Stochastic Gradient Descent (SGD)は、現代の機械学習において最も重要なシングルアルゴリズムである。
偏りのない勾配推定器を備えたsgdは少なくとも半世紀にわたって広く研究されてきたが、偏りのある推定器に依存するsgd変種は稀である。
しかし、近年はこの話題への関心が高まっている。
しかし、バイアス付推定器(BiasedSGD)を用いたSGDに関する既存の文献では、それぞれの新しい論文は、どのように接続されているかを明確に理解することなく、異なる仮定に依存するため、コヒーレンスを欠いている。
我々は,既存の仮定間の接続を確立することで,このギャップに対処し,基礎となる関係の包括的マップを示す。
さらに,全ての仮定よりも確実に弱い仮定を新たに導入し,この仮定を用いて,凸および非凸の双方でBiasedSGDを徹底的に解析し,過去の結果よりも有利であることを示す。
また、偏りのある推定者が偏りのない比較対象を上回ったり、偏りのないバージョンが単に利用できないような例も提供します。
最後に, 理論的知見を検証する実験結果を通して, 枠組みの有効性を実証する。
関連論文リスト
- Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions [13.431453056203226]
ワッサースタイン降下(SGD)における重尾現象は、いくつかの経験的な観測が報告されている。
本稿では一般化関数と一般勾配関数のバウンダリを開発する。
彼らは最近、損失関数の一般性のおかげで、経験的な観測により多くの光を当てた。
論文 参考訳（メタデータ） (2023-01-27T17:57:35Z) - Unbiased Supervised Contrastive Learning [10.728852691100338]
本研究では,バイアスに頑健な表現を学習する問題に取り組む。
まず、偏りのあるデータを扱う際に、最近の対照的な損失がなぜ失敗するのかを明らかにするための、マージンに基づく理論的枠組みを提案する。
教師付きコントラスト損失(epsilon-SupInfoNCE)を新たに定式化し,正試料と負試料の最小距離をより正確に制御する。
理論的な枠組みのおかげで、極めて偏りのあるデータでもうまく機能する新しい偏りのある正規化損失であるFairKLも提案する。
論文 参考訳（メタデータ） (2022-11-10T13:44:57Z) - Uncertainty Estimates of Predictions via a General Bias-Variance
Decomposition [7.811916700683125]
本稿では,適切なスコアに対するバイアス分散分解を導入し,分散項としてブレグマン情報を導出する。
モデルアンサンブルや信頼領域を含む下流タスクにおけるこの分解の実践的妥当性を示す。
論文 参考訳（メタデータ） (2022-10-21T21:24:37Z) - Efficient debiasing with contrastive weight pruning [45.27261440157806]
提案する理論的洞察は, 強大な相関関係の存在下でのアンバイアスドワークの探索において, 既存のアルゴリズムの潜在的な限界を警告するものである。
そこで我々は,構造学習におけるバイアス強調サンプルの重要性を解明した。
これらの観測により,高価なグループアノテーションを使わずに非バイアス処理を探索するDCWPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-11T08:25:47Z) - Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。
私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
論文 参考訳（メタデータ） (2022-07-19T12:52:33Z) - Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。
類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
論文 参考訳（メタデータ） (2022-02-27T13:25:01Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Mind the Trade-off: Debiasing NLU Models without Degrading the
In-distribution Performance [70.31427277842239]
信頼性正則化という新しいデバイアス化手法を導入する。
モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。
提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-05-01T11:22:55Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。