論文の概要: The Price of Implicit Bias in Adversarially Robust Generalization

• arxiv url: http://arxiv.org/abs/2406.04981v1
• Date: Fri, 7 Jun 2024 14:44:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:41:57.377595
• Title: The Price of Implicit Bias in Adversarially Robust Generalization
• Title（参考訳）: 逆ロバスト一般化におけるインシシットバイアスの価格
• Authors: Nikolaos Tsilivis, Natalie Frank, Nathan Srebro, Julia Kempe,
• Abstract要約: 頑健な経験的リスク最小化(robust ERM)における最適化の暗黙バイアスについて検討する。 本研究では,ロバストEMMにおける最適化の暗黙バイアスがモデルのロバスト性に大きな影響を与えることを示す。
• 参考スコア（独自算出の注目度）: 25.944485657150146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the implicit bias of optimization in robust empirical risk minimization (robust ERM) and its connection with robust generalization. In classification settings under adversarial perturbations with linear models, we study what type of regularization should ideally be applied for a given perturbation set to improve (robust) generalization. We then show that the implicit bias of optimization in robust ERM can significantly affect the robustness of the model and identify two ways this can happen; either through the optimization algorithm or the architecture. We verify our predictions in simulations with synthetic data and experimentally study the importance of implicit bias in robust ERM with deep neural networks.
• Abstract（参考訳）: 本研究では、ロバストEMM(Robust ERM)における最適化の暗黙バイアスとそのロバスト一般化との関係について検討する。 線形モデルによる逆摂動下の分類設定において、与えられた摂動集合に対してどのような正則化を理想的に適用して(ロバストな)一般化を改善するべきかを考察する。 次に、ロバストEMMにおける最適化の暗黙のバイアスがモデルのロバスト性に大きく影響し、最適化アルゴリズムまたはアーキテクチャを通して、これが起こる可能性のある2つの方法を特定することを示します。 我々は、合成データを用いたシミュレーションにおける予測を検証し、ディープニューラルネットワークを用いたロバストEMMにおける暗黙バイアスの重要性を実験的に検討する。

関連論文リスト

• An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models [32.04194224236952]
  スパースレートリダクション(SRR)と呼ばれる情報理論目的関数を提案する。 SRRは正の相関係数を持ち、パスノルムやシャープネスベースなど他の基準値よりも優れていることを示す。 ベンチマーク画像分類データセットの正規化として,SRRを用いて一般化を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-11-26T07:44:57Z)
• Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
  データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。 さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。 そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
  論文  参考訳（メタデータ） (2024-06-17T13:22:00Z)
• Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
  機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
  論文  参考訳（メタデータ） (2024-01-28T21:19:15Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Causality-oriented robustness: exploiting general additive interventions [3.871660145364189]
  本稿では因果性指向のロバスト性に着目し,不変勾配(DRIG)を用いた分布ロバスト性を提案する。 線形環境では、DRIGがデータ依存の分布シフトのクラスの中で頑健な予測を得られることを証明している。 我々は、予測性能をさらに向上させるために、半教師付きドメイン適応設定にアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-07-18T16:22:50Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。