論文の概要: Beyond Average Performance -- exploring regions of deviating performance
for black box classification models
- arxiv url: http://arxiv.org/abs/2109.08216v1
- Date: Thu, 16 Sep 2021 20:46:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-20 14:48:47.079753
- Title: Beyond Average Performance -- exploring regions of deviating performance
for black box classification models
- Title（参考訳）: 平均パフォーマンスを超えて -- ブラックボックス分類モデルのパフォーマンスを逸脱する領域を探る
- Authors: Luis Torgo and Paulo Azevedo and Ines Areosa
- Abstract要約: ブラックボックス分類モデルの予測性能を解釈可能な記述に利用できる2つのアプローチについて述べる。
これらのアプローチは、モデルが平均的な振る舞いから著しく逸脱するパフォーマンスを期待する、解釈可能な方法で発見し、記述する手段を提供するため、非常に実践的な関連性がある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Machine learning models are becoming increasingly popular in different types
of settings. This is mainly caused by their ability to achieve a level of
predictive performance that is hard to match by human experts in this new era
of big data. With this usage growth comes an increase of the requirements for
accountability and understanding of the models' predictions. However, the
degree of sophistication of the most successful models (e.g. ensembles, deep
learning) is becoming a large obstacle to this endeavour as these models are
essentially black boxes. In this paper we describe two general approaches that
can be used to provide interpretable descriptions of the expected performance
of any black box classification model. These approaches are of high practical
relevance as they provide means to uncover and describe in an interpretable way
situations where the models are expected to have a performance that deviates
significantly from their average behaviour. This may be of critical relevance
for applications where costly decisions are driven by the predictions of the
models, as it can be used to warn end users against the usage of the models in
some specific cases.
- Abstract（参考訳）: 機械学習モデルは、さまざまなタイプの設定で人気が高まっている。
これは主に、この新しいビッグデータの時代において、人間の専門家がマッチし難いレベルの予測パフォーマンスを達成する能力に起因している。
この使用量の増加により、モデルの予測に対する説明責任と理解の要件が増大する。
しかし、最も成功したモデル(例えばアンサンブル、ディープラーニング)の洗練度は、これらのモデルが本質的にブラックボックスであるため、この試みの大きな障害となっている。
本稿では,ブラックボックス分類モデルの予測性能を解釈可能な記述に利用できる2つの一般的なアプローチについて述べる。
これらのアプローチは、モデルが平均的な振る舞いから著しく逸脱するパフォーマンスを期待する、解釈可能な方法で発見し記述する手段を提供するので、非常に実践的な関連性がある。
これは、特定のケースでモデルの使用に対してエンドユーザに警告することができるため、モデルの予測によってコストのかかる決定が導かれるアプリケーションにとって重要な関連性である。
関連論文リスト
- AALF: Almost Always Linear Forecasting [3.336367986372977]
単純なモデルではほとんどの場合十分な時間で十分であり,特定の予測に対してのみDeep Learning法を選択することで,予測性能を向上させることができる,と我々は主張する。
実世界の様々なデータセットに関する実証的研究により、我々の選択手法は、ほとんどの場合、最先端のオンラインモデル選択方法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-09-16T10:13:09Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - A roadmap to fair and trustworthy prediction model validation in
healthcare [2.476158303361112]
予測モデルは、開発データを超えて一般化すれば最も有用である。
本稿では,信頼性,公正,信頼性の高い人工知能予測モデルの開発と適用を促進するロードマップを提案する。
論文 参考訳（メタデータ） (2023-04-07T04:24:19Z) - Operationalizing Specifications, In Addition to Test Sets for Evaluating
Constrained Generative Models [17.914521288548844]
生成モデルのスケールは、評価自体が実行される抽象レベルを高めるために利用することができると論じる。
我々の勧告は、生成品質を評価するための強力な手段として仕様を活用することに基づいている。
論文 参考訳（メタデータ） (2022-11-19T06:39:43Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳（メタデータ） (2022-10-28T17:52:10Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Thief, Beware of What Get You There: Towards Understanding Model
Extraction Attack [13.28881502612207]
いくつかのシナリオでは、AIモデルはプロプライエタリに訓練され、事前に訓練されたモデルも十分な分散データも公開されていない。
既存の手法の有効性は,事前学習モデルの欠如に大きく影響している。
モデル抽出攻撃を、これらの要因を深層強化学習で捉える適応的フレームワークに定式化します。
論文 参考訳（メタデータ） (2021-04-13T03:46:59Z) - Design of Dynamic Experiments for Black-Box Model Discrimination [72.2414939419588]
選択したいような動的モデル判別の設定を考えてみましょう。 (i) 最高のメカニスティックな時間変化モデルと (ii) 最高のモデルパラメータ推定値です。
勾配情報にアクセス可能な競合する力学モデルに対しては、既存の手法を拡張し、より広い範囲の問題の不確実性を組み込む。
これらのブラックボックスモデルをガウス過程サロゲートモデルに置き換えることで、モデル識別設定を拡張して、競合するブラックボックスモデルをさらに取り入れる。
論文 参考訳（メタデータ） (2021-02-07T11:34:39Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。