論文の概要: Non-Convex SGD Learns Halfspaces with Adversarial Label Noise
- arxiv url: http://arxiv.org/abs/2006.06742v1
- Date: Thu, 11 Jun 2020 18:55:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 12:39:32.686309
- Title: Non-Convex SGD Learns Halfspaces with Adversarial Label Noise
- Title（参考訳）: 逆ラベル雑音による半空間の非凸SGD学習
- Authors: Ilias Diakonikolas, Vasilis Kontonis, Christos Tzamos, Nikos Zarifis
- Abstract要約: 分布固有モデルにおいて,同種半空間の学習を代理する問題に対する解を示す。
任意の凸分布において、誤分類誤差は本質的にハーフスペースの誤分類誤差につながることを示す。
- 参考スコア（独自算出の注目度）: 50.659479930171585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of agnostically learning homogeneous halfspaces in the
distribution-specific PAC model. For a broad family of structured
distributions, including log-concave distributions, we show that non-convex SGD
efficiently converges to a solution with misclassification error
$O(\opt)+\eps$, where $\opt$ is the misclassification error of the best-fitting
halfspace. In sharp contrast, we show that optimizing any convex surrogate
inherently leads to misclassification error of $\omega(\opt)$, even under
Gaussian marginals.
- Abstract（参考訳）: 分布特異的pacモデルにおける均質な半空間を無知に学習する問題について検討する。
ログ凹分布を含む広い構造分布の族に対して、非凸 SGD は誤分類誤差 $O(\opt)+\eps$ の解に効率よく収束し、$\opt$ は最も適したハーフ空間の誤分類誤差である。
対照的に、任意の凸代理を最適化することは本質的にはガウス境界の下でも$\omega(\opt)$の誤分類誤差をもたらすことを示す。
関連論文リスト
- Gradual Domain Adaptation via Manifold-Constrained Distributionally Robust Optimization [0.4732176352681218]
本稿では、多様体制約データ分布のクラスにおける段階的領域適応の課題に対処する。
本稿では,適応的なワッサースタイン半径を持つ分布ロバスト最適化(DRO)を基礎とした手法を提案する。
我々のバウンダリは、新たに導入されたそれとの互換性尺度に依存しており、シーケンスに沿ったエラー伝搬のダイナミクスを完全に特徴付けています。
論文 参考訳（メタデータ） (2024-10-17T22:07:25Z) - Out-Of-Domain Unlabeled Data Improves Generalization [0.7589678255312519]
本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。
ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。
我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
論文 参考訳（メタデータ） (2023-09-29T02:00:03Z) - Distributed Extra-gradient with Optimal Complexity and Communication
Guarantees [60.571030754252824]
複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。
モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。
そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
論文 参考訳（メタデータ） (2023-08-17T21:15:04Z) - Wide flat minima and optimal generalization in classifying
high-dimensional Gaussian mixtures [8.556763944288116]
非平衡クラスタにおいても,ベイズ最適一般化誤差を実現する構成が存在することを示す。
また,平均二乗誤差損失の幅の広い平らな最小値を目標とするアルゴリズム的ケースについても検討した。
論文 参考訳（メタデータ） (2020-10-27T01:32:03Z) - Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
論文 参考訳（メタデータ） (2020-10-01T16:48:33Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳（メタデータ） (2020-06-11T14:25:02Z) - Revisiting SGD with Increasingly Weighted Averaging: Optimization and
Generalization Perspectives [50.12802772165797]
平均化手法は、全ての反復解を一つの解に結合する。
実験は、他の平均化方式と比較して、トレードオフと平均化の有効性を示した。
論文 参考訳（メタデータ） (2020-03-09T18:14:00Z) - Learning Halfspaces with Massart Noise Under Structured Distributions [46.37328271312332]
分布特異的PACモデルにおいて,マスアートノイズを伴う学習空間の問題を解く。
対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対
論文 参考訳（メタデータ） (2020-02-13T17:02:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。