論文の概要: On damage of interpolation to adversarial robustness in regression

• arxiv url: http://arxiv.org/abs/2601.16070v1
• Date: Thu, 22 Jan 2026 16:09:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.644394
• Title: On damage of interpolation to adversarial robustness in regression
• Title（参考訳）: 回帰における対向ロバスト性に対する補間の影響について
• Authors: Jingfu Peng, Yuhong Yang,
• Abstract要約: 非パラメトリック回帰の枠組みにおける補間推定器の対角的ロバスト性について検討する。 1つの発見は、補間推定器は微妙な将来の$X$-アタックの下でも最適以下でなければならないことである。 簡素な大きさの呪い」というハイレジームの興味深い現象も明らかにされ議論されている。
• 参考スコア（独自算出の注目度）: 3.934085474465338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) typically involve a large number of parameters and are trained to achieve zero or near-zero training error. Despite such interpolation, they often exhibit strong generalization performance on unseen data, a phenomenon that has motivated extensive theoretical investigations. Comforting results show that interpolation indeed may not affect the minimax rate of convergence under the squared error loss. In the mean time, DNNs are well known to be highly vulnerable to adversarial perturbations in future inputs. A natural question then arises: Can interpolation also escape from suboptimal performance under a future $X$-attack? In this paper, we investigate the adversarial robustness of interpolating estimators in a framework of nonparametric regression. A finding is that interpolating estimators must be suboptimal even under a subtle future $X$-attack, and achieving perfect fitting can substantially damage their robustness. An interesting phenomenon in the high interpolation regime, which we term the curse of simple size, is also revealed and discussed. Numerical experiments support our theoretical findings.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は通常、多数のパラメータを伴い、ゼロまたはほぼゼロのトレーニングエラーを達成するために訓練される。 このような補間にもかかわらず、それらはしばしば目に見えないデータに対して強力な一般化性能を示し、これは広範な理論的研究の動機となった。 不快な結果は、補間が2乗誤差損失の下での収束の最小値に影響を与えないことを示している。 平均すると、DNNは将来の入力における敵の摂動に対して非常に脆弱であることが知られている。 補間はまた、将来の$X$-アタックの下で、最適以下のパフォーマンスから逃れることができますか? 本稿では,非パラメトリック回帰の枠組みにおける補間推定器の対角的ロバスト性について検討する。 1つの発見は、補間推定器は、微妙な将来の$X$-アタックでも最適でなければならないこと、そして完全なフィッティングを達成することは、彼らの堅牢性を著しく損なう可能性があることである。 単純な大きさの呪いという高い補間体制における興味深い現象も明らかにされ議論されている。 数値実験は理論的な結果を裏付ける。

関連論文リスト

• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Towards Interpretable Adversarial Examples via Sparse Adversarial Attack [22.588476144401977]
  スパース攻撃は、ディープニューラルネットワーク(DNN)を騙すための敵の摂動の大きさを最適化する 既存の解は、その疎度が低いために解釈可能な逆の例が得られない。 本稿では,初期摂動の大きさを最小化して,CNNの脆弱性を理解するためのスパースアタックを開発することを目的とする。
  論文  参考訳（メタデータ） (2025-06-08T09:13:30Z)
• Robust deep learning from weakly dependent data [0.0]
  本稿では, 弱い依存度を持つ観測結果から, 非有界損失関数と非有界入力/出力を含む頑健な深層学習を考察する。 これらの境界と$r$の関係を導き、データが任意の順序のモーメント(すなわち$r=infty$)を持つとき、収束率はよく知られた結果に近い。
  論文  参考訳（メタデータ） (2024-05-08T14:25:40Z)
• Can overfitted deep neural networks in adversarial training generalize? -- An approximation viewpoint [25.32729343174394]
  敵対的摂動に対するディープニューラルネットワーク(DNN)の堅牢性を改善するために広く用いられている手法である。 本稿では,逆行訓練における過剰適合DNNが近似的視点から一般化できるかどうかを理論的に理解する。
  論文  参考訳（メタデータ） (2024-01-24T17:54:55Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Benefit of Interpolation in Nearest Neighbor Algorithms [21.79888306754263]
  いくつかの研究では、過度にパラメータ化されたディープニューラルネットワークは、トレーニングエラーがほぼゼロであっても、小さなテストエラーを達成することが観察されている。 私たちは、データメカニズムを通じて(過度なパラメータ化なしに)トレーニングエラーをゼロにする別の方法に変わります。
  論文  参考訳（メタデータ） (2022-02-23T22:47:18Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Network Moments: Extensions and Sparse-Smooth Attacks [59.24080620535988]
  ガウス入力を受ける小片方向線形(PL)ネットワーク(Affine,ReLU,Affine)の第1モーメントと第2モーメントの正確な解析式を導出する。 本研究では,新しい分散式を効率的に近似し,より厳密な分散推定を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-21T11:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。