論文の概要: Does Order Matter : Connecting The Law of Robustness to Robust Generalization

• arxiv url: http://arxiv.org/abs/2602.20971v1
• Date: Tue, 24 Feb 2026 14:52:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-25 17:34:53.795638
• Title: Does Order Matter : Connecting The Law of Robustness to Robust Generalization
• Title（参考訳）: 秩序は重要か : ロバストネスの法則とロバスト一般化を結びつける
• Authors: Himadri Mandal, Vishnu Varadarajan, Jaee Ponde, Aritra Das, Mihir More, Debayan Gupta,
• Abstract要約: 頑健な一般化は滑らかな摂動に必要なリプシッツ定数の順序を変えないことを示す。 MNIST の場合、Wu et al. (2023) によって予測される順序で下界リプシッツ定数がスケールする。
• 参考スコア（独自算出の注目度）: 3.4510064000616505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bubeck and Sellke (2021) pose as an open problem the connection between the law of robustness and robust generalization. The law of robustness states that overparameterization is necessary for models to interpolate robustly; in particular, robust interpolation requires the learned function to be Lipschitz. Robust generalization asks whether small robust training loss implies small robust test loss. We resolve this problem by explicitly connecting the two for arbitrary data distributions. Specifically, we introduce a nontrivial notion of robust generalization error and convert it into a lower bound on the expected Rademacher complexity of the induced robust loss class. Our bounds recover the $Ω(n^{1/d})$ regime of Wu et al.\ (2023) and show that, up to constants, robust generalization does not change the order of the Lipschitz constant required for smooth interpolation. We conduct experiments to probe the predicted scaling with dataset size and model capacity, testing whether empirical behavior aligns more closely with the predictions of Bubeck and Sellke (2021) or Wu et al.\ (2023). For MNIST, we find that the lower-bound Lipschitz constant scales on the order predicted by Wu et al.\ (2023). Informally, to obtain low robust generalization error, the Lipschitz constant must lie in a range that we bound, and the allowable perturbation radius is linked to the Lipschitz scale.
• Abstract（参考訳）: Bubeck and Sellke (2021) は、ロバストネスの法則とロバスト一般化の関連性というオープンな問題である。 頑健性の法則は、モデルが頑健に補間するために過度パラメータ化が必要であることを述べており、特に、頑健な補間はリプシッツの学習関数を必要とする。 ロバストな一般化は、小さなロバストなトレーニング損失が小さなロバストなテスト損失を意味するかどうかを問う。 任意のデータ分布に対して2つを明示的に接続することでこの問題を解決する。 具体的には、ロバストな一般化誤差という非自明な概念を導入し、それを誘導されたロバストな損失クラスのラデマッハ複雑性の低い境界に変換する。 我々の境界は、Wu et al \ (2023) の $Ω(n^{1/d})$ regime を回復し、滑らかな補間に必要なリプシッツ定数の順序は、定数を除いては、ロバストな一般化は変化しないことを示す。 本研究では,データセットサイズとモデルキャパシティによる予測スケーリングの探索実験を行い,実験行動がBubeckとSellke(2021)やWu et al \(2023)の予測とより密接に一致しているかを検証した。 MNIST に対して、下界のリプシッツ定数は Wu et al \ (2023) によって予測される順序でスケールする。 言い換えると、低ロバストな一般化誤差を得るためには、リプシッツ定数は私たちが有界な範囲にある必要があり、許容摂動半径はリプシッツスケールにリンクされる。

関連論文リスト

• A direct proof of a unified law of robustness for Bregman divergence losses [2.014089835498735]
  バイアス分散型分解の観点から,Bubeck と Sellke の証明手法を再放送する。 我々の研究は、Bubeck と Sellke の証明技法のより一般的な理解を与え、その広範な実用性を実証する。
  論文  参考訳（メタデータ） (2024-05-26T17:30:44Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized Linear Models [33.36787620121057]
  ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。 私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。 ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
  論文  参考訳（メタデータ） (2022-10-21T16:16:55Z)
• Provable Adversarial Robustness for Fractional Lp Threat Models [136.79415677706612]
  分数L_pの「ノルム」で区切られた攻撃はまだ十分に検討されていない。 いくつかの望ましい性質を持つ防衛法を提案する。 証明可能な(認証された)堅牢性を提供し、ImageNetにスケールし、(高い確率ではなく)決定論的保証を得る。
  論文  参考訳（メタデータ） (2022-03-16T21:11:41Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)
• Generalised Lipschitz Regularisation Equals Distributional Robustness [47.44261811369141]
  分布的ロバスト性と正規化の関係について、非常に一般的な等式結果を与える。 対立学習と分布ロバスト性の関係を明らかにする新しい結果を示す。
  論文  参考訳（メタデータ） (2020-02-11T04:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。