論文の概要: Robustness of Machine Learning Models Beyond Adversarial Attacks
- arxiv url: http://arxiv.org/abs/2204.10046v1
- Date: Thu, 21 Apr 2022 12:09:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-22 13:59:33.909339
- Title: Robustness of Machine Learning Models Beyond Adversarial Attacks
- Title（参考訳）: 敵攻撃を超えた機械学習モデルのロバスト性
- Authors: Sebastian Scher and Andreas Tr\"ugler
- Abstract要約: 本稿では,MLモデルのロバスト性を決定する上で,敵対的ロバスト性や近縁なメトリクスが必ずしも有効な指標ではないことを示す。
アプリケーション毎に個別に入力データの摂動をモデル化するフレキシブルなアプローチを提案する。
これは、現実の摂動が予測を変える可能性を計算する確率論的アプローチと組み合わせられる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Correctly quantifying the robustness of machine learning models is a central
aspect in judging their suitability for specific tasks, and thus, ultimately,
for generating trust in the models. We show that the widely used concept of
adversarial robustness and closely related metrics based on counterfactuals are
not necessarily valid metrics for determining the robustness of ML models
against perturbations that occur "naturally", outside specific adversarial
attack scenarios. Additionally, we argue that generic robustness metrics in
principle are insufficient for determining real-world-robustness. Instead we
propose a flexible approach that models possible perturbations in input data
individually for each application. This is then combined with a probabilistic
approach that computes the likelihood that a real-world perturbation will
change a prediction, thus giving quantitative information of the robustness of
the trained machine learning model. The method does not require access to the
internals of the classifier and thus in principle works for any black-box
model. It is, however, based on Monte-Carlo sampling and thus only suited for
input spaces with small dimensions. We illustrate our approach on two dataset,
as well as on analytically solvable cases. Finally, we discuss ideas on how
real-world robustness could be computed or estimated in high-dimensional input
spaces.
- Abstract（参考訳）: 機械学習モデルの堅牢性を正しく定量化することは、特定のタスクに対する適合性を判断する上で中心的な側面であり、最終的にはモデルに対する信頼を生み出す。
敵の攻撃シナリオの外で「自然に」発生する摂動に対してMLモデルのロバスト性を決定する上で、反ファクトに基づく敵のロバスト性と密接に関連するメトリクスが必ずしも有効ではないことを示す。
さらに, 実世界のロバスト性を決定するには, 原理上の汎用的ロバスト性指標が不十分であると主張する。
代わりに、アプリケーションごとに個別に入力データの摂動をモデル化する柔軟なアプローチを提案する。
これは、現実の摂動が予測を変える可能性を計算する確率論的アプローチと組み合わせられ、トレーニングされた機械学習モデルの堅牢性に関する定量的情報を与える。
この方法は分類器の内部へのアクセスを必要としないため、原則としてブラックボックスモデルで機能する。
しかし、これはモンテカルロサンプリングに基づいており、従って小さな次元の入力空間にのみ適している。
2つのデータセットと分析可能なケースについて、我々のアプローチを説明します。
最後に,実世界のロバスト性を高次元入力空間でどのように計算するか,あるいは推定するかについて考察する。
関連論文リスト
- Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。
本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
論文 参考訳（メタデータ） (2024-07-10T09:13:11Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Variational Shapley Network: A Probabilistic Approach to Self-Explaining
Shapley values with Uncertainty Quantification [2.6699011287124366]
シェープ価値は、モデル決定プロセスの解明のための機械学習(ML)の基礎ツールとして現れている。
本稿では,Shapley値の計算を大幅に単純化し,単一のフォワードパスしか必要としない,新しい自己説明手法を提案する。
論文 参考訳（メタデータ） (2024-02-06T18:09:05Z) - Characterizing Data Point Vulnerability via Average-Case Robustness [29.881355412540557]
対向ロバスト性は標準的なフレームワークであり、二眼レフを通して予測のロバスト性を見る。
我々は、局所的な点数を測定する平均ケースロバストネスと呼ばれる、ロバストネスの相補的な枠組みを考察する。
従来のディープラーニングモデルでは,推定値が正確かつ効率的であることを実証的に示す。
論文 参考訳（メタデータ） (2023-07-26T01:10:29Z) - Quantile-constrained Wasserstein projections for robust interpretability
of numerical and machine learning models [18.771531343438227]
ブラックボックスモデルの研究は、しばしば入力に課される確率構造を含む感度分析に基づいている。
我々の研究は、両方のパラダイムに関連性があり使いやすいツールを提供することで、UQとMLの解釈可能性アプローチを統合することを目的としています。
論文 参考訳（メタデータ） (2022-09-23T11:58:03Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳（メタデータ） (2021-09-22T12:46:04Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Modal Uncertainty Estimation via Discrete Latent Representation [4.246061945756033]
本稿では,インプットとアウトプットの1対1マッピングを,忠実な不確実性対策とともに学習するディープラーニングフレームワークを提案する。
我々のフレームワークは、現在の最先端手法よりもはるかに正確な不確実性推定を実証している。
論文 参考訳（メタデータ） (2020-07-25T05:29:34Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。