論文の概要: Robustly Learning a Single Neuron via Sharpness

• arxiv url: http://arxiv.org/abs/2306.07892v1
• Date: Tue, 13 Jun 2023 16:34:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 12:55:43.888532
• Title: Robustly Learning a Single Neuron via Sharpness
• Title（参考訳）: シャープネスによる単一ニューロンのロバスト学習
• Authors: Puqian Wang, Nikos Zarifis, Ilias Diakonikolas, Jelena Diakonikolas
• Abstract要約: 対向ラベルノイズの存在下で1つのニューロンをL2$-lossで学習する問題について検討した。 我々は、ReLUを含む幅広いアクティベーションに対して、定数係数内で最適な$L2$-errorを近似する効率的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 45.40045240987339
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of learning a single neuron with respect to the $L_2^2$-loss in the presence of adversarial label noise. We give an efficient algorithm that, for a broad family of activations including ReLUs, approximates the optimal $L_2^2$-error within a constant factor. Our algorithm applies under much milder distributional assumptions compared to prior work. The key ingredient enabling our results is a novel connection to local error bounds from optimization theory.
• Abstract（参考訳）: 対向ラベルノイズの存在下でのL_2^2$-lossに対する単一ニューロンの学習問題について検討した。 我々は、ReLUを含む幅広い活性化系に対して、定数係数内で最適な$L_2^2$-errorを近似する効率的なアルゴリズムを提案する。 我々のアルゴリズムは、以前の研究よりもはるかに軽度な分布仮定で適用される。 この結果を可能にする重要な要素は最適化理論からの局所誤差境界への新しい接続である。

関連論文リスト

• Robustly Learning Single-Index Models via Alignment Sharpness [40.886706402941435]
  単行数モデル学習の問題点を,無知モデルにおける損失$L2$で検討する。 最適損失に対する定数係数近似を達成し,効率的な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-27T18:48:07Z)
• Smoothness Adaptive Hypothesis Transfer Learning [8.557392136621894]
  Smoothness Adaptive Transfer Learning (SATL) は、2相のカーネルリッジ回帰(KRR)に基づくアルゴリズムである。 我々はまず、ターゲットのみのKRR学習において、不特定な固定帯域幅ガウスカーネルを用いることで、最小限の最適性が得られることを証明した。 我々は,学習問題の極小境界を過度なリスクで導出し,SATLが対数係数までの一致した上限を享受していることを示す。
  論文  参考訳（メタデータ） (2024-02-22T21:02:19Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Learning Narrow One-Hidden-Layer ReLU Networks [30.63086568341548]
  最初のアルゴリズムは$k$が定数であるときに成功する。 我々は、十分に近接したニューロンを一緒に崩壊させることができると主張するために、マルチスケール分析を用いる。
  論文  参考訳（メタデータ） (2023-04-20T17:53:09Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Empirical Risk Minimization in the Non-interactive Local Model of Differential Privacy [26.69391745812235]
  本研究では,非対話型局所微分プライバシー(LDP)モデルにおける経験的リスク最小化(ERM)問題について検討する。 これまでの研究では、誤差$alphaを達成するためには、一般的な損失関数の次元$p$に依存する必要があることが示されている。
  論文  参考訳（メタデータ） (2020-11-11T17:48:00Z)
• Online Linear Optimization with Many Hints [72.4277628722419]
  本研究では,学習者が決定に先立って各ラウンドでK$"hint"ベクトルにアクセス可能なオンライン線形最適化(OLO)問題について検討する。 この設定では、コストベクトルと正の相関を持つ$K$ヒントの凸結合が存在する場合、対数後悔を求めるアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-10-06T23:25:05Z)
• Learning Halfspaces with Tsybakov Noise [50.659479930171585]
  テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。 真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-06-11T14:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。