論文の概要: Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability

• arxiv url: http://arxiv.org/abs/2304.00320v1
• Date: Sat, 1 Apr 2023 14:09:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 18:44:47.441295
• Title: Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability
• Title（参考訳）: 二重確率モデル:不偏ラベル雑音による学習と推論安定性
• Authors: Haoyi Xiong, Xuhong Li, Boyang Yu, Zhanxing Zhu, Dongrui Wu, Dejing Dou
• Abstract要約: 勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。 そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。 我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
• 参考スコア（独自算出の注目度）: 85.1044381834036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random label noises (or observational noises) widely exist in practical machine learning settings. While previous studies primarily focus on the affects of label noises to the performance of learning, our work intends to investigate the implicit regularization effects of the label noises, under mini-batch sampling settings of stochastic gradient descent (SGD), with assumptions that label noises are unbiased. Specifically, we analyze the learning dynamics of SGD over the quadratic loss with unbiased label noises, where we model the dynamics of SGD as a stochastic differentiable equation (SDE) with two diffusion terms (namely a Doubly Stochastic Model). While the first diffusion term is caused by mini-batch sampling over the (label-noiseless) loss gradients as many other works on SGD, our model investigates the second noise term of SGD dynamics, which is caused by mini-batch sampling over the label noises, as an implicit regularizer. Our theoretical analysis finds such implicit regularizer would favor some convergence points that could stabilize model outputs against perturbation of parameters (namely inference stability). Though similar phenomenon have been investigated, our work doesn't assume SGD as an Ornstein-Uhlenbeck like process and achieve a more generalizable result with convergence of approximation proved. To validate our analysis, we design two sets of empirical studies to analyze the implicit regularizer of SGD with unbiased random label noises for deep neural networks training and linear regression.
• Abstract（参考訳）: ランダムラベルノイズ(または観測ノイズ)は、実践的な機械学習環境で広く存在する。 これまでの研究では,ラベルノイズが学習性能に与える影響を主に重視していたが,本研究はラベルノイズの暗黙的正規化効果を,確率的勾配降下(sgd)のミニバッチサンプリング条件下で検討し,ラベルノイズの偏りを仮定した。 具体的には,2つの拡散項(すなわち二重確率モデル)を持つ確率微分可能方程式(sde)としてsgdのダイナミクスをモデル化する。 第1拡散項は、他の多くのsgdの研究と同様に、(ラベルなし)損失勾配のミニバッチサンプリングによって生じるが、本モデルは、ラベルノイズのミニバッチサンプリングによって生じるsgdダイナミクスの第2ノイズ項を暗黙の正規化として検討する。 我々の理論解析では、そのような暗黙の正則化器は、パラメータの摂動(すなわち推論安定性)に対してモデル出力を安定化できる収束点を好む。 同様の現象が研究されているが、sgd は ornstein-uhlenbeck のような過程とは考えておらず、近似の収束によってより一般化された結果が得られる。 本研究では,ニューラルネットワークの深層学習と線形回帰のための非バイアスランダムラベルノイズを用いて,SGDの暗黙正則化を解析するための2つの実験的検討を設計した。

関連論文リスト

• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Uncertainty-Aware Learning Against Label Noise on Imbalanced Datasets [23.4536532321199]
  不整合データセットのラベルノイズを処理するための不確かさを意識したラベル補正フレームワークを提案する。 本研究では,不均衡なデータセットのラベルノイズを処理するために,不確かさを意識したラベル補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T11:35:55Z)
• Computing the Variance of Shuffling Stochastic Gradient Algorithms via Power Spectral Density Analysis [6.497816402045099]
  理論上の利点を持つ勾配降下(SGD)の2つの一般的な選択肢は、ランダムリシャッフル(SGDRR)とシャッフルオンス(SGD-SO)である。 本研究では,SGD,SGDRR,SGD-SOの定常変動について検討した。
  論文  参考訳（メタデータ） (2022-06-01T17:08:04Z)
• The effective noise of Stochastic Gradient Descent [9.645196221785694]
  Gradient Descent (SGD) は、ディープラーニング技術のワークホースアルゴリズムである。 SGDのパラメータと最近導入された変種である永続型SGDをニューラルネットワークモデルで特徴づける。 よりノイズの多いアルゴリズムは、対応する制約満足度問題のより広い決定境界につながる。
  論文  参考訳（メタデータ） (2021-12-20T20:46:19Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• On Minibatch Noise: Discrete-Time SGD, Overparametrization, and Bayes [2.6763498831034043]
  ミニバッチサンプリングによる勾配降下(SGD)の騒音は未だよく分かっていない。 ミニバッチサンプリングが必ずしも変動を引き起こすとは限らないという観測に感銘を受けて,ミニバッチノイズを発生させる条件を見出した。
  論文  参考訳（メタデータ） (2021-02-10T10:38:55Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。