論文の概要: The Cost of Robustness: Tighter Bounds on Parameter Complexity for Robust Memorization in ReLU Nets

• arxiv url: http://arxiv.org/abs/2510.24643v1
• Date: Tue, 28 Oct 2025 17:09:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:37.297355
• Title: The Cost of Robustness: Tighter Bounds on Parameter Complexity for Robust Memorization in ReLU Nets
• Title（参考訳）: ロバストネスのコスト:ReLUネットにおけるロバスト記憶のためのパラメータ複雑度に関する厳密な境界
• Authors: Yujun Kim, Chaewon Moon, Chulhee Yun,
• Abstract要約: 本稿では,$mathrmReLU$ネットワークに対するロバスト記憶のパラメータ複雑性について検討する。 パラメータカウントの上と下の境界は、ロバストネス比 $rho = mu / epsilon$ の関数として成立する。
• 参考スコア（独自算出の注目度）: 22.963810255498796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the parameter complexity of robust memorization for $\mathrm{ReLU}$ networks: the number of parameters required to interpolate any given dataset with $\epsilon$-separation between differently labeled points, while ensuring predictions remain consistent within a $\mu$-ball around each training sample. We establish upper and lower bounds on the parameter count as a function of the robustness ratio $\rho = \mu / \epsilon$. Unlike prior work, we provide a fine-grained analysis across the entire range $\rho \in (0,1)$ and obtain tighter upper and lower bounds that improve upon existing results. Our findings reveal that the parameter complexity of robust memorization matches that of non-robust memorization when $\rho$ is small, but grows with increasing $\rho$.
• Abstract（参考訳）: 我々は,$\mathrm{ReLU}$ネットワークに対するロバストな記憶のパラメータ複雑性について検討し,任意のデータセットを異なるラベル付きポイント間で$\epsilon$-セパレーションで補間するために必要なパラメータの数と,トレーニングサンプル毎に$\mu$-ball内での予測の一貫性を確保する。 パラメータカウントの上と下の境界は、ロバストネス比 $\rho = \mu / \epsilon$ の関数として成立する。 以前の研究とは異なり、我々は、$\rho \in (0,1)$の全範囲にわたるきめ細かい解析を提供し、既存の結果を改善するより厳密な上と下の境界を得る。 以上の結果から,ロバスト記憶のパラメータ複雑性は,$\rho$が小さければ非ロバスト記憶のパラメータ複雑性と一致するが,$\rho$の増加とともに増大することが明らかとなった。

関連論文リスト

• Rate optimal learning of equilibria from data [63.14746189846806]
  マルチエージェント・イミテーション・ラーニング(MAIL)における理論的ギャップは,非対話的MAILの限界を特徴づけ,ほぼ最適なサンプル複雑性を持つ最初の対話的アルゴリズムを提示することによって解決する。 インタラクティブな設定では、報酬のない強化学習と対話型MAILを組み合わせたフレームワークを導入し、それをMAIL-WARMというアルゴリズムでインスタンス化する。 我々は,我々の理論を裏付ける数値的な結果を提供し,グリッドワールドのような環境において,行動クローンが学習に失敗する状況を示す。
  論文  参考訳（メタデータ） (2025-10-10T12:28:35Z)
• Beyond Minimax Rates in Group Distributionally Robust Optimization via a Novel Notion of Sparsity [14.396304498754688]
  私たちは、$(lambda, beta)$-sparsityをダブした、空白という新しい概念を示します。 つまり、少なくとも$theta$のリスクが他のグループのリスクよりも少なくとも$lambda$であるような、少なくとも$beta$グループのセットがあります。 計算効率のよい手法により,次元自由な半適応サンプルの複雑性を得る方法を示す。
  論文  参考訳（メタデータ） (2024-10-01T13:45:55Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• On the Query Complexity of Training Data Reconstruction in Private Learning [0.0]
  我々は,ホワイトボックスの敵が学習者に対して行わなければならないクエリ数を分析し,学習データを再構築する。 例えば$(epsilon, delta)$ DPの学習者は任意のコンパクトな距離空間から引き出された訓練データを持つ。
  論文  参考訳（メタデータ） (2023-03-29T00:49:38Z)
• On the Optimal Memorization Power of ReLU Neural Networks [53.15475693468925]
  フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。 このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T05:25:23Z)
• Under-bagging Nearest Neighbors for Imbalanced Classification [63.026765294759876]
  我々は,不均衡な分類問題に対して,textitunder-bagging $k$-NN (textitunder-bagging $k$-NN) というアンサンブル学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-01T14:10:38Z)
• Small Covers for Near-Zero Sets of Polynomials and Learning Latent Variable Models [56.98280399449707]
  我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。 構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
  論文  参考訳（メタデータ） (2020-12-14T18:14:08Z)
• Explicit Best Arm Identification in Linear Bandits Using No-Regret Learners [17.224805430291177]
  線形パラメータ化マルチアームバンドにおけるベストアーム識別の問題について検討する。 そこで本研究では,この問題を解決するために,明示的に実装可能かつ証明可能な順序-最適サンプル-複雑度アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-13T05:00:01Z)
• A Randomized Algorithm to Reduce the Support of Discrete Measures [79.55586575988292]
  離散確率測度が$N$原子と$n$実数値関数の集合で成り立つと、元の$N$原子の$n+1$の部分集合で支えられる確率測度が存在する。 我々は、負の円錐によるバリセンターの簡単な幾何学的特徴付けを与え、この新しい測度を「グリード幾何学的サンプリング」によって計算するランダム化アルゴリズムを導出する。 次に、その性質を研究し、それを合成および実世界のデータにベンチマークして、$Ngg n$ regimeにおいて非常に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-02T16:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。