論文の概要: Robustness Cannot be Reduced to Regularization: Studying Adversarial Training Beyond the Linear Case

• arxiv url: http://arxiv.org/abs/2606.21488v1
• Date: Fri, 19 Jun 2026 14:38:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 13:09:01.039985
• Title: Robustness Cannot be Reduced to Regularization: Studying Adversarial Training Beyond the Linear Case
• Title（参考訳）: ロバストネスを正則化に還元できないこと--リニアケースを越えた逆行訓練の検討
• Authors: David A. R. Robin, Rafael Pinot, Yann Chevaleyre,
• Abstract要約: 敵の訓練は この問題に対する 最も効果的な対策の1つです 計算コストが高いことは、実際的な展開の障害である。 このコスト削減の最近の進歩は、敵のリスクとより単純な正規化リスクの形式的等価性に依存している。
• 参考スコア（独自算出の注目度）: 11.550543488697018
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The vulnerability of ML models to adversarial examples has recently emerged as a major concern. While adversarial training is one of the most effective countermeasures to this issue, its high computational cost remains an obstacle to practical deployment. Recent progress in reducing this cost has relied, in the case of linear models, on a formal equivalence between the adversarial risk and a simpler form of regularized risk. This enabled significantly more efficient training procedures, which naturally raises the question of whether such an equivalence can be extended beyond linear models. In this work, we formally show that no such equivalence is possible for two-layer networks. Our proofs proceed via a reduction to key properties that fundamentally separate the adversarial risk from any simple regularized risk which would only exhibit a weak form of data dependence. Beyond this setting, we provide empirical evidence on Wide-ResNets indicating that the same type of impossibility persists in deeper and more expressive architectures.
• Abstract（参考訳）: MLモデルの逆例に対する脆弱性は、最近大きな懸念事項として浮上している。 敵の訓練はこの問題に対する最も効果的な対策の1つであるが、その高い計算コストは実際的な展開の障害である。 このコスト削減の最近の進歩は、線形モデルの場合、敵のリスクとより単純な正規化リスクの形式的等価性に依存している。 これにより、より効率的なトレーニング手順が可能となり、そのような同値性が線形モデルを超えて拡張できるかどうかという疑問が自然に提起される。 本研究では,2層ネットワークにおいてそのような等価性は認められないことを正式に示す。 我々の証明は、敵対的リスクとデータ依存の弱い形式のみを示すような単純な正規化リスクとを根本的に分離する鍵となる性質への還元によって進行する。 この設定を超えて、我々はWide-ResNetsに関する実証的な証拠を提供し、同じタイプの非可視性がより深くより表現力のあるアーキテクチャで持続することを示す。

関連論文リスト

• Expected Harm: Rethinking Safety Evaluation of (Mis)Aligned LLMs [24.88278177777809]
  我々は、実行コストの関数としてモデル化された、Jailbreakの重大度をその実行可能性によって重み付けする、期待されるHarmを紹介した。 このプロパティを利用することで、既存のjailbreakの攻撃成功率を最大2倍に向上させます。
  論文  参考訳（メタデータ） (2026-02-02T03:48:04Z)
• Backdoor Unlearning by Linear Task Decomposition [69.91984435094157]
  ファンデーションモデルは、敵の摂動と標的のバックドア攻撃に非常に敏感である。 既存のバックドア除去アプローチは、有害な振る舞いをオーバーライドするために、コストのかかる微調整に依存している。 このことは、バックドアがモデルの一般的な能力を損なうことなく取り除けるかどうかという問題を提起する。
  論文  参考訳（メタデータ） (2025-10-16T16:18:07Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Disparate Impact on Group Accuracy of Linearization for Private Inference [48.27026603581436]
  多数派と比較して,ReLUアクティベーション数の減少は少数派に対する精度を著しく低下させることを示す。 また,線形化モデルの微調整手順を変更する簡単な手順が,効果的な緩和戦略として有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-06T01:56:29Z)
• The Surprising Harmfulness of Benign Overfitting for Adversarial Robustness [13.120373493503772]
  根拠的真理そのものが敵の例に対して堅牢であるとしても、標準のアウト・オブ・サンプルのリスク目標の観点から見れば、明らかに過適合なモデルは良性である、という驚くべき結果が証明されます。 我々の発見は、実際に観察されたパズリング現象に関する理論的洞察を与え、真の標的関数(例えば、人間)は副次的攻撃に対して堅牢であり、一方、当初過適合のニューラルネットワークは、堅牢でないモデルに導かれる。
  論文  参考訳（メタデータ） (2024-01-19T15:40:46Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Seeing is not Believing: Robust Reinforcement Learning against Spurious Correlation [57.351098530477124]
  国家の異なる部分には、保存されていない共同設立者が引き起こす相関関係が存在しない。 このような役に立たないあるいは有害な相関を学習するモデルは、テストケースの共同創設者がトレーニングケースから逸脱したときに破滅的に失敗する可能性がある。 したがって、単純かつ非構造的な不確実性集合を仮定する既存の頑健なアルゴリズムは、この問題に対処するには不十分である。
  論文  参考訳（メタデータ） (2023-07-15T23:53:37Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Overparameterized Linear Regression under Adversarial Attacks [0.0]
  敵攻撃時の線形回帰の誤差について検討した。 線形モデルに機能を追加することは、さらなる堅牢性や脆性の原因になる可能性がある。
  論文  参考訳（メタデータ） (2022-04-13T09:50:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。