論文の概要: Efficient Estimation of the Local Robustness of Machine Learning Models
- arxiv url: http://arxiv.org/abs/2307.13885v2
- Date: Fri, 15 Sep 2023 22:16:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 22:56:24.655502
- Title: Efficient Estimation of the Local Robustness of Machine Learning Models
- Title（参考訳）: 機械学習モデルの局所的ロバストネスの効率的な推定
- Authors: Tessa Han, Suraj Srinivas, Himabindu Lakkaraju
- Abstract要約: 局所ロバスト性は入力周辺の局所領域におけるモデル予測の整合性である。
マルチクラス離散モデルの局所ロバスト性を効率的に計算する最初の解析計算推定器を開発した。
- 参考スコア（独自算出の注目度）: 33.583648927535414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models often need to be robust to noisy input data.
Real-world noise (such as measurement noise) is often random and the effect of
such noise on model predictions is captured by a model's local robustness,
i.e., the consistency of model predictions in a local region around an input.
Local robustness is therefore an important characterization of real-world model
behavior and can be useful for debugging models and establishing user trust.
However, the na\"ive approach to computing local robustness based on
Monte-Carlo sampling is statistically inefficient, especially for
high-dimensional data, leading to prohibitive computational costs for
large-scale applications. In this work, we develop the first analytical
estimators to efficiently compute local robustness of multi-class
discriminative models. These estimators linearize models in the local region
around an input and compute the model's local robustness using the multivariate
Normal cumulative distribution function. Through the derivation of these
estimators, we show how local robustness is connected to such concepts as
randomized smoothing and softmax probability. In addition, we show empirically
that these estimators efficiently compute the local robustness of standard deep
learning models and demonstrate these estimators' usefulness for various tasks
involving local robustness, such as measuring robustness bias and identifying
examples that are vulnerable to noise perturbation in a dataset. To our
knowledge, this work is the first to investigate local robustness in a
multi-class setting and develop efficient analytical estimators for local
robustness. In doing so, this work not only advances the conceptual
understanding of local robustness, but also makes its computation practical,
enabling the use of local robustness in critical downstream applications.
- Abstract（参考訳）: 機械学習モデルは、しばしばノイズの多い入力データに対して堅牢である必要がある。
実世界のノイズ(測定ノイズなど)はしばしばランダムであり、そのようなノイズがモデル予測に及ぼす影響はモデルの局所的頑健性、すなわち入力周辺の局所領域におけるモデル予測の一貫性によって捉えられる。
したがって、局所ロバスト性は実世界のモデル行動の重要な特徴であり、モデルのデバッギングやユーザ信頼の確立に有用である。
しかし、モンテカルロサンプリングに基づく局所ロバストネスの「計算」アプローチは、特に高次元データでは統計的に非効率的であり、大規模アプリケーションでは計算コストが禁じられている。
本研究では,マルチクラス判別モデルの局所ロバスト性を効率的に計算する最初の解析的推定器を開発する。
これらの推定器は入力周辺の局所領域のモデルを線形化し、多変量正規累積分布関数を用いてモデルの局所ロバスト性を計算する。
これらの推定器の導出を通じて,局所的ロバスト性がランダム化平滑化やソフトマックス確率といった概念とどのように結びついているかを示す。
さらに,これらの推定器が,標準ディープラーニングモデルの局所的ロバストネスを効率的に計算し,ロバスト性バイアスの測定やデータセットのノイズ摂動に弱い例の同定など,局所的ロバストネスに関わる様々なタスクにおいて,これらの推定器の有用性を示す。
我々の知る限り、この研究は、マルチクラス設定における局所ロバスト性を調査し、局所ロバスト性に対する効率的な解析的推定器を開発する最初のものである。
これにより、局所ロバスト性の概念的理解を深めるだけでなく、その計算を実用的なものにし、臨界下流アプリケーションにおける局所ロバスト性の利用を可能にする。
関連論文リスト
- Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。
これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。
CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
論文 参考訳（メタデータ） (2024-03-15T17:33:49Z) - Rethinking Robustness of Model Attributions [24.317595434521504]
多くの属性手法は脆弱であり,これらの手法やモデルトレーニングの改良が提案されている。
まず、ロバスト性に関する既存の指標は、アトリビューションにおける合理的な局所的なシフトを過度に負担する。
本稿では,ロバストネス指標における画素の局所性と属性における画素位置の多様性を組み込んだ既存メトリクスと属性手法の簡易な強化手法を提案する。
論文 参考訳（メタデータ） (2023-12-16T20:20:38Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳（メタデータ） (2023-04-19T14:58:27Z) - Robustness of Machine Learning Models Beyond Adversarial Attacks [0.0]
本稿では,MLモデルのロバスト性を決定する上で,敵対的ロバスト性や近縁なメトリクスが必ずしも有効な指標ではないことを示す。
アプリケーション毎に個別に入力データの摂動をモデル化するフレキシブルなアプローチを提案する。
これは、現実の摂動が予測を変える可能性を計算する確率論的アプローチと組み合わせられる。
論文 参考訳（メタデータ） (2022-04-21T12:09:49Z) - Estimating the Robustness of Classification Models by the Structure of
the Learned Feature-Space [10.418647759223964]
固定テストセットは、可能なデータバリエーションのごく一部しかキャプチャできないため、制限され、新しい過度なソリューションを生成する傾向にある、と私たちは主張する。
これらの欠点を克服するために、学習した特徴空間の構造から直接モデルのロバスト性を推定することを提案する。
論文 参考訳（メタデータ） (2021-06-23T10:52:29Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。
我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。
分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
論文 参考訳（メタデータ） (2020-10-19T17:06:18Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - How to compare adversarial robustness of classifiers from a global
perspective [0.0]
敵対的攻撃は、機械学習モデルの信頼性と信頼性を損なう。
特定の脅威モデルのポイントワイド測度は、現在、分類器の堅牢性を比較するための最も一般的なツールである。
本研究では,最近提案されたロバストネス曲線を用いて,ポイントワイド測度が重要なグローバルな特性を捉えることができないことを示す。
論文 参考訳（メタデータ） (2020-04-22T22:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。