論文の概要: Automatic Generation of Attention Rules For Containment of Machine Learning Model Errors

• arxiv url: http://arxiv.org/abs/2305.08115v1
• Date: Sun, 14 May 2023 10:15:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 17:23:56.043989
• Title: Automatic Generation of Attention Rules For Containment of Machine Learning Model Errors
• Title（参考訳）: 機械学習モデルエラー封じ込めのための注意ルールの自動生成
• Authors: Samuel Ackerman, Axel Bendavid, Eitan Farchi, Orna Raz
• Abstract要約: 我々は、観測を分離するために最適な規則を決定するためのいくつかのアルゴリズム(ストラテジー')を提案する。 特に,機能ベースのスライシングを利用する戦略は,人間の解釈可能で,モデル非依存であり,補足的な入力や知識を最小限に抑える必要がある。 戦略を評価するために、我々は、その性能、安定性、そして、目に見えないデータに対する一般化可能性など、様々な望ましい品質を測定するための指標を導入する。
• 参考スコア（独自算出の注目度）: 1.4987559345379062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) solutions are prevalent in many applications. However, many challenges exist in making these solutions business-grade. For instance, maintaining the error rate of the underlying ML models at an acceptably low level. Typically, the true relationship between feature inputs and the target feature to be predicted is uncertain, and hence statistical in nature. The approach we propose is to separate the observations that are the most likely to be predicted incorrectly into 'attention sets'. These can directly aid model diagnosis and improvement, and be used to decide on alternative courses of action for these problematic observations. We present several algorithms (`strategies') for determining optimal rules to separate these observations. In particular, we prefer strategies that use feature-based slicing because they are human-interpretable, model-agnostic, and require minimal supplementary inputs or knowledge. In addition, we show that these strategies outperform several common baselines, such as selecting observations with prediction confidence below a threshold. To evaluate strategies, we introduce metrics to measure various desired qualities, such as their performance, stability, and generalizability to unseen data; the strategies are evaluated on several publicly-available datasets. We use TOPSIS, a Multiple Criteria Decision Making method, to aggregate these metrics into a single quality score for each strategy, to allow comparison.
• Abstract（参考訳）: 多くのアプリケーションで機械学習(ML)ソリューションが普及している。 しかし、これらのソリューションをビジネスグレードにする上で、多くの課題が存在する。 例えば、基盤となるMLモデルのエラー率を許容できる低いレベルに維持する。 通常、特徴入力と予測対象特徴との間の真の関係は不確かであり、したがって自然界では統計的である。 提案するアプローチは、誤って予測される可能性が最も高い観測を「注意セット」に分離することである。 これらはモデル診断と改善を直接支援し、これらの問題のある観察のために別の行動経路を決定するのに使用できる。 これらの観測を分離するために最適な規則を決定するアルゴリズムをいくつか提示する。 特に,機能ベースのスライシングを利用する戦略は,人間の解釈可能で,モデル非依存であり,補足的な入力や知識を最小限に抑える必要がある。 さらに,予測信頼度がしきい値を下回るような観測結果の選択など,これらの戦略がいくつかの一般的なベースラインを上回っていることを示す。 戦略を評価するために,様々な望ましい品質(その性能,安定性,非認識データの一般化など)を測定するための指標を導入し,その戦略はいくつかの公開データセット上で評価される。 ToPSIS(Multiple Criteria Decision Making Method)を用いて、これらのメトリクスを戦略ごとに単一の品質スコアに集約し、比較を可能にする。

関連論文リスト

• Realistic Evaluation of Test-Time Adaptation Algorithms: Unsupervised Hyperparameter Selection [1.4530711901349282]
  TTA(Test-Time Adaptation)は、分散シフト下での機械学習モデルロバストネスの問題に対処するための有望な戦略として登場した。 我々は,サロゲートベースのhp選択戦略を用いて既存のTTA手法を評価し,その性能をより現実的に評価する。
  論文  参考訳（メタデータ） (2024-07-19T11:58:30Z)
• Decoupling Decision-Making in Fraud Prevention through Classifier Calibration for Business Logic Action [1.8289218434318257]
  我々は、機械学習(ML)分類器をビジネスロジックフレームワーク内のスコアベースのアクションから切り離す戦略としてキャリブレーション戦略を使用する。 この知見は,このアプローチのトレードオフとパフォーマンスへの影響を浮き彫りにしている。 特に、IsotonicとBetaのキャリブレーションメソッドは、トレーニングデータとテストデータのシフトがあるシナリオで際立っている。
  論文  参考訳（メタデータ） (2024-01-10T16:13:21Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• Feature Selection Using Reinforcement Learning [0.0]
  特定の関心の予測因子を特徴付けるために使用できる変数や特徴の空間は指数関数的に増大し続けている。 モデルのバイアスを損なうことなく分散を最小化する最も特徴的な特徴を特定することは、マシンラーニングモデルのトレーニングを成功させる上で非常に重要です。
  論文  参考訳（メタデータ） (2021-01-23T09:24:37Z)
• Reducing Confusion in Active Learning for Part-Of-Speech Tagging [100.08742107682264]
  アクティブラーニング(AL)は、データ選択アルゴリズムを使用して、アノテーションコストを最小限に抑えるために有用なトレーニングサンプルを選択する。 本研究では、特定の出力タグのペア間の混乱を最大に低減するインスタンスの選択問題について検討する。 提案するAL戦略は,他のAL戦略よりも有意差で優れている。
  論文  参考訳（メタデータ） (2020-11-02T06:24:58Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。