論文の概要: Surprises in adversarially-trained linear regression

• arxiv url: http://arxiv.org/abs/2205.12695v1
• Date: Wed, 25 May 2022 11:54:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 23:46:26.379917
• Title: Surprises in adversarially-trained linear regression
• Title（参考訳）: 逆訓練線形回帰におけるサプライズ
• Authors: Ant\^onio H. Ribeiro and Dave Zachariah and Thomas B. Sch\"on
• Abstract要約: 敵の訓練はこのような例に対して最も効果的なアプローチの1つである。 本稿では,線形回帰問題に対して,凸問題として逆行訓練を定式化できることを述べる。 十分に多くの特徴や十分小さな正規化パラメータに対して、学習されたモデルはトレーニングデータを完全に補間することを示す。
• 参考スコア（独自算出の注目度）: 12.33259114006129
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art machine learning models can be vulnerable to very small input perturbations that are adversarially constructed. Adversarial training is one of the most effective approaches to defend against such examples. We show that for linear regression problems, adversarial training can be formulated as a convex problem. This fact is then used to show that $\ell_\infty$-adversarial training produces sparse solutions and has many similarities to the lasso method. Similarly, $\ell_2$-adversarial training has similarities with ridge regression. We use a robust regression framework to analyze and understand these similarities and also point to some differences. Finally, we show how adversarial training behaves differently from other regularization methods when estimating overparameterized models (i.e., models with more parameters than datapoints). It minimizes a sum of three terms which regularizes the solution, but unlike lasso and ridge regression, it can sharply transition into an interpolation mode. We show that for sufficiently many features or sufficiently small regularization parameters, the learned model perfectly interpolates the training data while still exhibiting good out-of-sample performance.
• Abstract（参考訳）: 最先端の機械学習モデルは、反対に構築される非常に小さな入力摂動に対して脆弱である。 敵の訓練はこのような例に対して最も効果的なアプローチの1つである。 線形回帰問題に対しては,逆訓練を凸問題として定式化できることを示す。 この事実は、$\ell_\infty$-adversarial training がスパース解を生成し、ラッソ法と多くの類似点を持つことを示すために使われる。 同様に$\ell_2$-adversarial trainingもリッジ回帰と類似している。 このような類似点を分析し、理解するために、堅牢な回帰フレームワークを使用します。 最後に、過パラメータ化モデル(すなわち、データポイントよりも多くのパラメータを持つモデル)を推定する際に、敵対的トレーニングは他の正規化手法とは異なる振る舞いを示す。 解を正則化する3つの項の和を最小化するが、ラッソやリッジ回帰とは異なり、補間モードに鋭く遷移することができる。 学習モデルでは,十分な特徴量や正規化パラメータが十分小さい場合には,トレーニングデータを完全に補間し,サンプル性能も良好であることを示す。

関連論文リスト

• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Regularization properties of adversarially-trained linear regression [5.7077257711082785]
  最先端の機械学習モデルは、非常に小さな入力摂動に対して脆弱である。 敵の訓練は、それに対して効果的なアプローチである。
  論文  参考訳（メタデータ） (2023-10-16T20:09:58Z)
• Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
  我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。 エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。 一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
  論文  参考訳（メタデータ） (2023-07-03T08:19:00Z)
• Analysis of Interpolating Regression Models and the Double Descent Phenomenon [3.883460584034765]
  ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。 得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。 回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
  論文  参考訳（メタデータ） (2023-04-17T09:44:33Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Smoothly Giving up: Robustness for Simple Models [30.56684535186692]
  このようなモデルをトレーニングするアルゴリズムの例としては、ロジスティック回帰とブースティングがある。 我々は、標準凸損失関数間のチューニングを行う、$Served-Servedジョイント凸損失関数を用いて、そのようなモデルを堅牢に訓練する。 また、ロジスティック回帰のためのCOVID-19データセットを強化し、複数の関連ドメインにまたがる効果のアプローチを強調します。
  論文  参考訳（メタデータ） (2023-02-17T19:48:11Z)
• Least-Squares Linear Dilation-Erosion Regressor Trained using Stochastic Descent Gradient or the Difference of Convex Methods [2.055949720959582]
  線形拡張・侵食回帰(ell$-DER)と呼ばれる回帰タスクのためのハイブリッド型モルフォロジーニューラルネットワークを提案する。 $ell$-DERモデルは、線形および形態素作用素の合成の凸結合によって与えられる。
  論文  参考訳（メタデータ） (2021-07-12T18:41:59Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。