論文の概要: Robust Learning under Strong Noise via SQs

• arxiv url: http://arxiv.org/abs/2010.09106v1
• Date: Sun, 18 Oct 2020 21:02:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 03:56:37.080585
• Title: Robust Learning under Strong Noise via SQs
• Title（参考訳）: SQによる強騒音下でのロバスト学習
• Authors: Ioannis Anagnostides, Themis Gouleakis, Ali Marashian
• Abstract要約: 各SQ学習可能なクラスは、幅広いノイズモデルに対して、OPT + $epsilon Misilon誤分類誤差を持つ効率的な学習アルゴリズムを許容することを示す。 この設定は、既知の雑音確率を持つRCNの下で広く研究されている問題分類を大幅に一般化する。
• 参考スコア（独自算出の注目度）: 5.9256596453465225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work provides several new insights on the robustness of Kearns' statistical query framework against challenging label-noise models. First, we build on a recent result by \cite{DBLP:journals/corr/abs-2006-04787} that showed noise tolerance of distribution-independently evolvable concept classes under Massart noise. Specifically, we extend their characterization to more general noise models, including the Tsybakov model which considerably generalizes the Massart condition by allowing the flipping probability to be arbitrarily close to $\frac{1}{2}$ for a subset of the domain. As a corollary, we employ an evolutionary algorithm by \cite{DBLP:conf/colt/KanadeVV10} to obtain the first polynomial time algorithm with arbitrarily small excess error for learning linear threshold functions over any spherically symmetric distribution in the presence of spherically symmetric Tsybakov noise. Moreover, we posit access to a stronger oracle, in which for every labeled example we additionally obtain its flipping probability. In this model, we show that every SQ learnable class admits an efficient learning algorithm with OPT + $\epsilon$ misclassification error for a broad class of noise models. This setting substantially generalizes the widely-studied problem of classification under RCN with known noise rate, and corresponds to a non-convex optimization problem even when the noise function -- i.e. the flipping probabilities of all points -- is known in advance.
• Abstract（参考訳）: この研究は、カーンズの統計クエリーフレームワークが挑戦的なラベルノイズモデルに対して堅牢であることに関するいくつかの新しい洞察を提供する。 まず,Massartノイズ下での分布独立に進化可能な概念クラスの耐雑音性を示す「cite{DBLP:journals/corr/abs-2006-04787}」による最近の結果に基づく。 具体的には、それらの特性をより一般的なノイズモデルに拡張し、tsybakovモデルでは、反転確率を領域のサブセットに対して任意に$\frac{1}{2}$に近づけることで、マッサート条件をかなり一般化する。 線形しきい値関数を球対称なTsybakov雑音が存在する場合の任意の球対称分布上の線形しきい値関数を任意に学習するために、最小限の余剰誤差を持つ最初の多項式時間アルゴリズムを得るために、DBLP:conf/colt/KanadeVV10} の進化的アルゴリズムを用いる。 さらに、より強いオラクルへのアクセスを仮定し、ラベル付き例ごとにそのフリップ確率を得る。 このモデルでは、全てのSQ学習可能なクラスがOPT+$\epsilon$誤分類誤差を持つ効率的な学習アルゴリズムを持つことを示す。 この設定は、RCNの下で既知の雑音率で広く研究されている分類問題をかなり一般化し、ノイズ関数、すなわち全ての点の反転確率が予め知られている場合でも、非凸最適化問題に対応する。

関連論文リスト

• Robust Learning under Hybrid Noise [24.36707245704713]
  本稿では,データリカバリの観点からハイブリッドノイズに対処するため,新たな統合学習フレームワーク"Feature and Label Recovery"(FLR)を提案する。
  論文  参考訳（メタデータ） (2024-07-04T16:13:25Z)
• Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise [19.496063739638924]
  構造スパイクモデルに対するベイズ推定の飽和問題を考える。 適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-31T16:38:35Z)
• On Convergence of Adam for Stochastic Optimization under Relaxed Assumptions [4.9495085874952895]
  Adaptive Momentum Estimation (Adam)アルゴリズムは、様々なディープラーニングタスクにおいて非常に効果的である。 この一般的な雑音モデルの下で,Adamは高い反復率で定常点のばらつきを見いだせることを示す。
  論文  参考訳（メタデータ） (2024-02-06T13:19:26Z)
• Generalization Error Bounds for Noisy, Iterative Algorithms via Maximal Leakage [24.40306100502023]
  我々は,雑音学習アルゴリズムのクラスにおける一般化挙動を解析するために,情報理論の枠組みを採用する。 更新関数の仮定が雑音の最適選択にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-02-28T12:13:57Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Boosting in the Presence of Massart Noise [49.72128048499074]
  マスアートノイズを伴う(分布に依存しない)PACモデルにおいて、弱い学習者の精度を高める問題について検討する。 我々の主な成果は、Massartノイズの存在下で最初の計算効率の良いブースティングアルゴリズムである。 正の結果の簡単な応用として、高次元矩形の和に対して、第一に効率的なMassart学習者を与える。
  論文  参考訳（メタデータ） (2021-06-14T22:21:25Z)
• Sample-Optimal PAC Learning of Halfspaces with Malicious Noise [4.8728183994912415]
  Valiant(1985)の悪意のあるノイズの存在下で$mathRd$の半空間の効率的なPAC学習を研究します。 Awasthi et alのアルゴリズムのための新しい分析を提示します。 そして、ほぼ最適に近いサンプル複雑性を$tildeo(d)$という値で達成できることを示します。 Bbbshoutyetal (2002) のより一般的で強力なノイズモデルにアルゴリズムと解析を拡張し、ほぼ最適なノイズ耐性とサンプルの複雑さを時間内に達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-11T20:18:20Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• Learning Halfspaces with Tsybakov Noise [50.659479930171585]
  テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。 真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-06-11T14:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。