論文の概要: Efficient Estimation of the Local Robustness of Machine Learning Models
- arxiv url: http://arxiv.org/abs/2307.13885v2
- Date: Fri, 15 Sep 2023 22:16:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 22:56:24.655502
- Title: Efficient Estimation of the Local Robustness of Machine Learning Models
- Title(参考訳): 機械学習モデルの局所的ロバストネスの効率的な推定
- Authors: Tessa Han, Suraj Srinivas, Himabindu Lakkaraju
- Abstract要約: 局所ロバスト性は入力周辺の局所領域におけるモデル予測の整合性である。
マルチクラス離散モデルの局所ロバスト性を効率的に計算する最初の解析計算推定器を開発した。
- 参考スコア(独自算出の注目度): 33.583648927535414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models often need to be robust to noisy input data.
Real-world noise (such as measurement noise) is often random and the effect of
such noise on model predictions is captured by a model's local robustness,
i.e., the consistency of model predictions in a local region around an input.
Local robustness is therefore an important characterization of real-world model
behavior and can be useful for debugging models and establishing user trust.
However, the na\"ive approach to computing local robustness based on
Monte-Carlo sampling is statistically inefficient, especially for
high-dimensional data, leading to prohibitive computational costs for
large-scale applications. In this work, we develop the first analytical
estimators to efficiently compute local robustness of multi-class
discriminative models. These estimators linearize models in the local region
around an input and compute the model's local robustness using the multivariate
Normal cumulative distribution function. Through the derivation of these
estimators, we show how local robustness is connected to such concepts as
randomized smoothing and softmax probability. In addition, we show empirically
that these estimators efficiently compute the local robustness of standard deep
learning models and demonstrate these estimators' usefulness for various tasks
involving local robustness, such as measuring robustness bias and identifying
examples that are vulnerable to noise perturbation in a dataset. To our
knowledge, this work is the first to investigate local robustness in a
multi-class setting and develop efficient analytical estimators for local
robustness. In doing so, this work not only advances the conceptual
understanding of local robustness, but also makes its computation practical,
enabling the use of local robustness in critical downstream applications.
- Abstract(参考訳): 機械学習モデルは、しばしばノイズの多い入力データに対して堅牢である必要がある。
実世界のノイズ(測定ノイズなど)はしばしばランダムであり、そのようなノイズがモデル予測に及ぼす影響はモデルの局所的頑健性、すなわち入力周辺の局所領域におけるモデル予測の一貫性によって捉えられる。
したがって、局所ロバスト性は実世界のモデル行動の重要な特徴であり、モデルのデバッギングやユーザ信頼の確立に有用である。
しかし、モンテカルロサンプリングに基づく局所ロバストネスの「計算」アプローチは、特に高次元データでは統計的に非効率的であり、大規模アプリケーションでは計算コストが禁じられている。
本研究では,マルチクラス判別モデルの局所ロバスト性を効率的に計算する最初の解析的推定器を開発する。
これらの推定器は入力周辺の局所領域のモデルを線形化し、多変量正規累積分布関数を用いてモデルの局所ロバスト性を計算する。
これらの推定器の導出を通じて,局所的ロバスト性がランダム化平滑化やソフトマックス確率といった概念とどのように結びついているかを示す。
さらに,これらの推定器が,標準ディープラーニングモデルの局所的ロバストネスを効率的に計算し,ロバスト性バイアスの測定やデータセットのノイズ摂動に弱い例の同定など,局所的ロバストネスに関わる様々なタスクにおいて,これらの推定器の有用性を示す。
我々の知る限り、この研究は、マルチクラス設定における局所ロバスト性を調査し、局所ロバスト性に対する効率的な解析的推定器を開発する最初のものである。
これにより、局所ロバスト性の概念的理解を深めるだけでなく、その計算を実用的なものにし、臨界下流アプリケーションにおける局所ロバスト性の利用を可能にする。
関連論文リスト
- Estimating Fr\'echet bounds for validating programmatic weak supervision [50.13475056199486]
我々は、ある変数が連続的に評価される(おそらく高次元の)分布クラス上のFr'echeの境界を推定する手法を開発する。
プログラム弱監督(PWS)を訓練した機械学習(ML)モデルの性能を評価することで,アルゴリズムの有用性を実証する。
論文 参考訳(メタデータ) (2023-12-07T07:15:11Z) - Distributed Semi-Supervised Sparse Statistical Inference [6.685997976921953]
縮退推定器は高次元モデルパラメータの統計的推測において重要なツールである。
従来の手法では、すべてのマシンで偏りのある推定器を計算する必要がある。
ラベル付きデータと非ラベル付きデータを統合した効率的なマルチラウンド分散脱バイアス推定器を開発した。
論文 参考訳(メタデータ) (2023-06-17T17:30:43Z) - Provable Robustness for Streaming Models with a Sliding Window [51.85182389861261]
オンラインコンテンツレコメンデーションや株式市場分析のようなディープラーニングアプリケーションでは、モデルは過去のデータを使って予測を行う。
入力ストリーム上の固定サイズのスライディングウインドウを使用するモデルに対して、ロバスト性証明を導出する。
私たちの保証は、ストリーム全体の平均モデルパフォーマンスを保ち、ストリームサイズに依存しないので、大きなデータストリームに適しています。
論文 参考訳(メタデータ) (2023-03-28T21:02:35Z) - Optimizing the Noise in Self-Supervised Learning: from Importance
Sampling to Noise-Contrastive Estimation [80.07065346699005]
GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。
我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。
本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
論文 参考訳(メタデータ) (2023-01-23T19:57:58Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T00:33:11Z) - Robust leave-one-out cross-validation for high-dimensional Bayesian
models [0.0]
レリーブ・ワン・アウト・クロスバリデーション (LOO-CV) は、アウト・オブ・サンプル予測精度を推定するための一般的な手法である。
そこで本研究では,LOO-CV基準を計算するための新しい混合推定器を提案し,解析する。
提案手法は古典的手法の単純さと計算的利便性を保ちながら, 得られた推定値の有限分散を保証している。
論文 参考訳(メタデータ) (2022-09-19T17:14:52Z) - Robustness of Machine Learning Models Beyond Adversarial Attacks [0.0]
本稿では,MLモデルのロバスト性を決定する上で,敵対的ロバスト性や近縁なメトリクスが必ずしも有効な指標ではないことを示す。
アプリケーション毎に個別に入力データの摂動をモデル化するフレキシブルなアプローチを提案する。
これは、現実の摂動が予測を変える可能性を計算する確率論的アプローチと組み合わせられる。
論文 参考訳(メタデータ) (2022-04-21T12:09:49Z) - Non-asymptotic analysis and inference for an outlyingness induced
winsorized mean [0.0]
本稿では,平均の下位ゲージ推定器のロバスト性について検討する。
いずれも、データ中の25%以上の汚染に耐えられないことが明らかになった。
また、最高の堅牢性を有するアウトライン性誘起Winsorized平均も導入しています。
論文 参考訳(メタデータ) (2021-05-05T21:35:24Z) - Detangling robustness in high dimensions: composite versus
model-averaged estimation [11.658462692891355]
ロバスト法は、実際にはユビキタスであるが、正規化推定や高次元の文脈ではまだ完全には理解されていない。
本稿では,これらの設定におけるロバスト性をさらに研究し,予測に焦点を当てたツールボックスを提供する。
論文 参考訳(メタデータ) (2020-06-12T20:40:15Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z) - TraDE: Transformers for Density Estimation [101.20137732920718]
TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。
本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
論文 参考訳(メタデータ) (2020-04-06T07:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。