論文の概要: Robustly Learning Monotone Single-Index Models
- arxiv url: http://arxiv.org/abs/2508.04670v1
- Date: Wed, 06 Aug 2025 17:37:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.857539
- Title: Robustly Learning Monotone Single-Index Models
- Title(参考訳): 単調単一インデックスモデルのロバスト学習
- Authors: Puqian Wang, Nikos Zarifis, Ilias Diakonikolas, Jelena Diakonikolas,
- Abstract要約: 本稿では,ガウス分布下の正方形損失に関して,単一インデックスモデル学習の基本的な問題を考える。
我々の主な貢献は、この学習タスクのための最初の計算効率の良いアルゴリズムであり、定数係数近似を達成することである。
- 参考スコア(独自算出の注目度): 37.42736399673992
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the basic problem of learning Single-Index Models with respect to the square loss under the Gaussian distribution in the presence of adversarial label noise. Our main contribution is the first computationally efficient algorithm for this learning task, achieving a constant factor approximation, that succeeds for the class of {\em all} monotone activations with bounded moment of order $2 + \zeta,$ for $\zeta > 0.$ This class in particular includes all monotone Lipschitz functions and even discontinuous functions like (possibly biased) halfspaces. Prior work for the case of unknown activation either does not attain constant factor approximation or succeeds for a substantially smaller family of activations. The main conceptual novelty of our approach lies in developing an optimization framework that steps outside the boundaries of usual gradient methods and instead identifies a useful vector field to guide the algorithm updates by directly leveraging the problem structure, properties of Gaussian spaces, and regularity of monotone functions.
- Abstract(参考訳): 本稿では,ガウス分布下での正方形損失に対して,逆ラベル雑音の存在下での単一インデックスモデル学習の基本的な問題点について考察する。
我々の主な貢献は、この学習タスクのための最初の計算効率の良いアルゴリズムであり、定数係数近似を達成し、順序の有界モーメントが 2 + \zeta,$ for $\zeta > 0.$ で成立する。
アクティベーションが不明な場合の以前の研究では、定数係数の近似が得られなかったり、より小さなアクティベーションのファミリーで成功したりする。
提案手法の主な概念的新規性は、通常の勾配法の境界外をステップし、問題構造、ガウス空間の性質、単調関数の正則性を直接活用してアルゴリズムの更新を誘導する有用なベクトル場を特定する最適化フレームワークを開発することである。
関連論文リスト
- Robustly Learning Monotone Generalized Linear Models via Data Augmentation [37.42736399673992]
テクティタニーモノトンリプシッツ活性化のための定数近似を実現するアルゴリズムを初めて提案する。
我々の研究は、古典的GLMtronアルゴリズムに匹敵する堅牢な手法を開発することで、よく知られたオープンな問題を解決する。
論文 参考訳(メタデータ) (2025-02-12T17:59:21Z) - Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。
本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文 参考訳(メタデータ) (2024-06-28T02:56:22Z) - Inexact subgradient methods for semialgebraic functions [18.293072574300798]
機械学習における近似勾配の広範囲な適用を動機として, 永続的な誤差を受ける部分エクサクティヴな加算法について検討する。
我々の分析は、消滅と定常的なステップサイズ体制の両方に対処する。
論文 参考訳(メタデータ) (2024-04-30T12:47:42Z) - Robustly Learning Single-Index Models via Alignment Sharpness [40.886706402941435]
単行数モデル学習の問題点を,無知モデルにおける損失$L2$で検討する。
最適損失に対する定数係数近似を達成し,効率的な学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-27T18:48:07Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳(メタデータ) (2023-07-08T15:41:48Z) - Stochastic Submodular Maximization via Polynomial Estimators [13.498923494159312]
未知分布を持つ部分モジュラ函数のクラスに対する期待値として定義される部分モジュラ函数の最大化に焦点をあてる。
この形の単調関数に対して、グリーディ連続アルゴリズムは、推定を用いて、任意に$(1-1/e)近似63%の近似比(期待値)を得ることを示す。
論文 参考訳(メタデータ) (2023-03-17T13:32:33Z) - Gradient flows and randomised thresholding: sparse inversion and
classification [0.0]
スパースインバージョンと分類問題は、現代のデータサイエンスとイメージングにおいて至るところに存在している。
分類において、例えば、データの忠実度項と非滑らかなギンズバーグ-ランダウエネルギーの和を考える。
標準(サブ)勾配降下法はそのような問題にアプローチする際に非効率であることが示されている。
論文 参考訳(メタデータ) (2022-03-22T09:21:14Z) - Agnostic Proper Learning of Halfspaces under Gaussian Marginals [56.01192577666607]
ガウスの下の半空間を不可知的に学習する問題を考察する。
我々の主な成果は、この問題に対するエム第一固有学習アルゴリズムである。
論文 参考訳(メタデータ) (2021-02-10T18:40:44Z) - A Polynomial Time Algorithm for Learning Halfspaces with Tsybakov Noise [55.45544638410858]
本研究では,Tsybakovノイズの存在下でのPAC学習の相同性半空間の問題について検討する。
我々のアルゴリズムは、任意の精度$epsilon$で真のハーフスペースを学習する。
論文 参考訳(メタデータ) (2020-10-04T22:19:06Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳(メタデータ) (2020-06-11T14:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。