論文の概要: A Guide Through the Zoo of Biased SGD

• arxiv url: http://arxiv.org/abs/2305.16296v1
• Date: Thu, 25 May 2023 17:50:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 13:23:42.585657
• Title: A Guide Through the Zoo of Biased SGD
• Title（参考訳）: 偏りのあるsgd動物園のガイド
• Authors: Yury Demidovich, Grigory Malinovsky, Igor Sokolov, Peter Richt\'arik
• Abstract要約: SGD(Gradient Descent)は、現代の機械学習において最も重要なアルゴリズムである。 我々は、すべての以前の仮定よりも確実に弱い新しい仮定の集合を示す。 偏りのある推定器が偏りのない推定器より優れている場合や、偏りのないバージョンが使えない場合を例に挙げる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic Gradient Descent (SGD) is arguably the most important single algorithm in modern machine learning. Although SGD with unbiased gradient estimators has been studied extensively over at least half a century, SGD variants relying on biased estimators are rare. Nevertheless, there has been an increased interest in this topic in recent years. However, existing literature on SGD with biased estimators (BiasedSGD) lacks coherence since each new paper relies on a different set of assumptions, without any clear understanding of how they are connected, which may lead to confusion. We address this gap by establishing connections among the existing assumptions, and presenting a comprehensive map of the underlying relationships. Additionally, we introduce a new set of assumptions that is provably weaker than all previous assumptions, and use it to present a thorough analysis of BiasedSGD in both convex and non-convex settings, offering advantages over previous results. We also provide examples where biased estimators outperform their unbiased counterparts or where unbiased versions are simply not available. Finally, we demonstrate the effectiveness of our framework through experimental results that validate our theoretical findings.
• Abstract（参考訳）: Stochastic Gradient Descent (SGD)は、現代の機械学習において最も重要なシングルアルゴリズムである。 偏りのない勾配推定器を備えたsgdは少なくとも半世紀にわたって広く研究されてきたが、偏りのある推定器に依存するsgd変種は稀である。 しかし、近年はこの話題への関心が高まっている。 しかし、バイアス付推定器(BiasedSGD)を用いたSGDに関する既存の文献では、それぞれの新しい論文は、どのように接続されているかを明確に理解することなく、異なる仮定に依存するため、コヒーレンスを欠いている。 我々は,既存の仮定間の接続を確立することで,このギャップに対処し,基礎となる関係の包括的マップを示す。 さらに,全ての仮定よりも確実に弱い仮定を新たに導入し,この仮定を用いて,凸および非凸の双方でBiasedSGDを徹底的に解析し,過去の結果よりも有利であることを示す。 また、偏りのある推定者が偏りのない比較対象を上回ったり、偏りのないバージョンが単に利用できないような例も提供します。 最後に, 理論的知見を検証する実験結果を通して, 枠組みの有効性を実証する。

関連論文リスト

• Fine-Grained Dynamic Framework for Bias-Variance Joint Optimization on Data Missing Not at Random [2.8165314121189247]
  レコメンデーションシステムやディスプレイ広告など、ほとんどの実践的なアプリケーションでは、収集されたデータには欠落する値が含まれることが多い。 我々は,バイアスと分散を協調的に最適化する,体系的なきめ細かな動的学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-24T10:07:09Z)
• Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation [0.8192907805418583]
  偏りのある勾配は滑らかな非函数に対する臨界点に収束することを示す。 適切なチューニングを行うことで,バイアスの効果を低減できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:17:36Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions [13.431453056203226]
  ワッサースタイン降下(SGD)における重尾現象は、いくつかの経験的な観測が報告されている。 本稿では一般化関数と一般勾配関数のバウンダリを開発する。 彼らは最近、損失関数の一般性のおかげで、経験的な観測により多くの光を当てた。
  論文  参考訳（メタデータ） (2023-01-27T17:57:35Z)
• Unbiased Supervised Contrastive Learning [10.728852691100338]
  本研究では,バイアスに頑健な表現を学習する問題に取り組む。 まず、偏りのあるデータを扱う際に、最近の対照的な損失がなぜ失敗するのかを明らかにするための、マージンに基づく理論的枠組みを提案する。 教師付きコントラスト損失(epsilon-SupInfoNCE)を新たに定式化し,正試料と負試料の最小距離をより正確に制御する。 理論的な枠組みのおかげで、極めて偏りのあるデータでもうまく機能する新しい偏りのある正規化損失であるFairKLも提案する。
  論文  参考訳（メタデータ） (2022-11-10T13:44:57Z)
• Uncertainty Estimates of Predictions via a General Bias-Variance Decomposition [7.811916700683125]
  本稿では,適切なスコアに対するバイアス分散分解を導入し,分散項としてブレグマン情報を導出する。 モデルアンサンブルや信頼領域を含む下流タスクにおけるこの分解の実践的妥当性を示す。
  論文  参考訳（メタデータ） (2022-10-21T21:24:37Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。