論文の概要: Convex Basins in Single-Index Model Loss Landscapes: Applications to Robust Recovery under Strong Adversarial Corruption

• arxiv url: http://arxiv.org/abs/2605.29497v1
• Date: Thu, 28 May 2026 07:21:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.942075
• Title: Convex Basins in Single-Index Model Loss Landscapes: Applications to Robust Recovery under Strong Adversarial Corruption
• Title（参考訳）: 単一インデックスモデルにおける凸盆地は景観を損なう--強い逆境崩壊下でのロバスト回復への応用
• Authors: Santanu Das, Sagnik Chatterjee, Jatin Batra,
• Abstract要約: 本研究では,重み付き雑音の存在下で,ガウス単体指数モデル(SIM)を頑健に学習する問題について検討する。 一般単調なリンク関数に対して、線形に近いサンプルと時間的複雑さを持つ最初のロバストなリカバリアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.52430575477004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of robustly learning Gaussian Single Index Models (SIMs) in the presence of heavy-tailed noise and a constant fraction of adversarially corrupted covariates and responses. Prior work on robust recovery has considered settings such as linear regression (Pensia et al., JASA 2024), strictly monotonic link functions (Awasthi et al., NeurIPS 2022), and phase retrieval (Buna and Rebeschini, AISTATS 2025). However, these techniques do not extend to generic asymmetric non-monotonic link functions such as \textsc{GeLU} and \textsc{Swish}, which arise naturally as scalar primitives in modern gated neural architectures. We close this gap by giving the first robust recovery algorithm with near-linear sample and time complexity for generic non-monotonic link functions, thereby establishing the first robust recovery guarantees for a broad family of nonlinear SIMs for which \textit{no guarantees were previously known}. Our central contribution is a new structural understanding of the Gaussian squared-loss landscape under adversarial contamination. Crucially, we prove that for a broad class of nonlinear non-monotonic SIMs, a dimension-independent, constant-radius convex basin exists around the ground truth and is efficiently reachable via robust spectral initialization even under adversarial contamination. Prior works fail to establish both guarantees simultaneously, thereby either breaking down under adversarial contamination or failing to handle generic non-monotonic link functions. Together, these structural insights yield a principled warm start for robust gradient descent that provably converges to a final estimation error of $O(σ\sqrtε)$ in $\tilde{O}(nd)$ time with $\tilde{O}(d)$ samples, where $ε$ is the contamination fraction.
• Abstract（参考訳）: 本研究では,重み付き雑音の存在下でのガウス的単一指標モデル(SIM)の頑健な学習問題と,逆向きに劣化した共変量および応答の一定割合について検討する。 線形回帰(Pensia et al , JASA 2024)、厳密な単調リンク関数(Awasthi et al , NeurIPS 2022)、位相探索(Buna and Rebeschini, AISTATS 2025)などの設定も検討されている。 しかし、これらの手法は、現代のゲート型ニューラルネットワークにおけるスカラープリミティブとして自然に生じる、例えば \textsc{GeLU} や \textsc{Swish} のような一般的な非対称な非単調リンク関数に拡張されない。 このギャップを埋めるために、一般的な非単調リンク関数に対して、線形に近いサンプルと時間的複雑さを持つ最初のロバストなリカバリアルゴリズムを付与し、それにより、以前は \textit{no の保証が知られていた幅広い非線形SIMの族に対して、最初のロバストなリカバリ保証を確立する。 我々の中心的な貢献は、敵対的な汚染下でのガウスの四角い風景の新たな構造的理解である。 重要なことは、幅広い非線形非単調なSIMに対して、次元非依存の定数半径凸盆地が基底真実の周囲に存在することを示し、対向汚染下においても頑健なスペクトル初期化によって効率よく到達可能である。 事前の作業は両方の保証を同時に確立できないため、敵の汚染の下で分解するか、一般的な単調でないリンク関数を処理できないかのいずれかである。 これらの構造的洞察と合わせて、ロバスト勾配降下の原理的な温暖開始が得られ、これは$O(σ\sqrtε)$ in $\tilde{O}(nd)$ time with $\tilde{O}(d)$ sample, ここで$ε$は汚染率である。

関連論文リスト

• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Identifiable Convex-Concave Regression via Sub-gradient Regularised Least Squares [1.9580473532948397]
  複雑な入力関係を凸成分と凹成分の和としてモデル化する新しい非パラメトリック回帰法を提案する。 The method-ICCNLS-decomposes sub-constrained shape-constrained additive decomposition。
  論文  参考訳（メタデータ） (2025-06-22T15:53:12Z)
• Federated Learning Resilient to Byzantine Attacks and Data Heterogeneity [59.17297282373628]
  本稿では、データに対する悪意ある攻撃の文脈におけるグラディエント学習(FL)について述べる。 本稿では,収束解析と損失関数の中央値を用いた新しい平均ロバストアルゴリズム(RAGA)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。