論文の概要: Adversarially Robust Estimate and Risk Analysis in Linear Regression
- arxiv url: http://arxiv.org/abs/2012.10278v1
- Date: Fri, 18 Dec 2020 14:55:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 23:11:07.506880
- Title: Adversarially Robust Estimate and Risk Analysis in Linear Regression
- Title（参考訳）: 線形回帰における逆ロバスト推定とリスク分析
- Authors: Yue Xing, Ruizhi Zhang, Guang Cheng
- Abstract要約: 反対に堅牢な学習は、入力変数の小さな反対の摂動に対して堅牢なアルゴリズムを設計することを目指している。
逆ロバストな推定器の収束率を統計的に最小化することで,モデル情報の導入の重要性を強調する。
本研究では, モデル構造情報を活用することで, 素直な2段階の対人学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 17.931533943788335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarially robust learning aims to design algorithms that are robust to
small adversarial perturbations on input variables. Beyond the existing studies
on the predictive performance to adversarial samples, our goal is to understand
statistical properties of adversarially robust estimates and analyze
adversarial risk in the setup of linear regression models. By discovering the
statistical minimax rate of convergence of adversarially robust estimators, we
emphasize the importance of incorporating model information, e.g., sparsity, in
adversarially robust learning. Further, we reveal an explicit connection of
adversarial and standard estimates, and propose a straightforward two-stage
adversarial learning framework, which facilitates to utilize model structure
information to improve adversarial robustness. In theory, the consistency of
the adversarially robust estimator is proven and its Bahadur representation is
also developed for the statistical inference purpose. The proposed estimator
converges in a sharp rate under either low-dimensional or sparse scenario.
Moreover, our theory confirms two phenomena in adversarially robust learning:
adversarial robustness hurts generalization, and unlabeled data help improve
the generalization. In the end, we conduct numerical simulations to verify our
theory.
- Abstract（参考訳）: 逆ロバスト学習は、入力変数の小さな逆摂動にロバストなアルゴリズムを設計することを目的としている。
本研究の目的は, 線形回帰モデルの設定において, 逆向きの頑健な推定値の統計的特性を理解し, 逆向きのリスクを分析することである。
対向ロバストな推定器の収束率を統計的に極小化することにより,対向ロバストな学習においてモデル情報(例えばスパーシティ)を取り入れることの重要性を強調する。
さらに,正反対推定と標準推定との明確な関係を明らかにするとともに,モデル構造情報を利用した2段階逆学習フレームワークを提案する。
理論的には、逆ロバストな推定器の一貫性が証明され、そのバハドゥル表現は統計的推論のためにも開発されている。
提案する推定器は、低次元またはスパースシナリオのいずれにおいても鋭い速度で収束する。
さらに,本理論は,逆ロバスト性が一般化を損なうこと,ラベルのないデータが一般化を改善すること,という,逆ロバスト学習における2つの現象を裏付ける。
最終的に、我々は理論を検証するために数値シミュレーションを行う。
関連論文リスト
- Unpacking the Resilience of SNLI Contradiction Examples to Attacks [0.38366697175402226]
我々は,モデルの脆弱性を調べるためにユニバーサル・アドバイサル・アタックを適用した。
分析の結果,含意クラスと中性クラスの精度は著しく低下した。
逆例のある拡張データセット上でモデルを微調整することで、その性能はほぼベースラインレベルに回復した。
論文 参考訳（メタデータ） (2024-12-15T12:47:28Z) - Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume [17.198794644483026]
本稿では,様々な摂動強度に対して総合的に深層学習モデルの頑健性を評価するための,対向超体積と呼ばれる新しい計量法を提案する。
我々は,様々な摂動強度の対向的堅牢性を均一に向上する新しいトレーニングアルゴリズムを採用する。
本研究はロバスト性の新しい尺度に寄与し、敵の脅威に対するベンチマーク評価と、現在および将来の防御モデルのレジリエンスの基準を確立する。
論文 参考訳（メタデータ） (2024-03-08T07:03:18Z) - Generating Less Certain Adversarial Examples Improves Robust Generalization [22.00283527210342]
本稿では,対人訓練における頑健なオーバーフィット現象を再考する。
我々は、敵の例を予測する際の過信が潜在的な原因であると主張している。
本稿では, モデルが予測するロジットの分散を, 逆数例で捉えた逆数確かさの形式的定義を提案する。
論文 参考訳（メタデータ） (2023-10-06T19:06:13Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Bayesian Learning with Information Gain Provably Bounds Risk for a
Robust Adversarial Defense [27.545466364906773]
敵攻撃に対して堅牢なディープニューラルネットワークモデルを学習するための新しいアルゴリズムを提案する。
本モデルでは, PGD 攻撃下での対人訓練と Adv-BNN との比較により, 強靭性は20%まで向上した。
論文 参考訳（メタデータ） (2022-12-05T03:26:08Z) - Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial
Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。
本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。
本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-10-13T13:54:24Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。
我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。
このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
論文 参考訳（メタデータ） (2020-10-15T16:39:26Z) - On the Generalization Properties of Adversarial Training [21.79888306754263]
本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。
滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
論文 参考訳（メタデータ） (2020-08-15T02:32:09Z) - Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。
我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。
逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
論文 参考訳（メタデータ） (2020-02-24T19:01:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。