論文の概要: Dirichlet uncertainty wrappers for actionable algorithm accuracy
accountability and auditability
- arxiv url: http://arxiv.org/abs/1912.12628v1
- Date: Sun, 29 Dec 2019 11:05:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-17 07:28:40.380415
- Title: Dirichlet uncertainty wrappers for actionable algorithm accuracy
accountability and auditability
- Title(参考訳): ディリクレの不確実性ラッパーによるアルゴリズムの精度と監査可能性の検証
- Authors: Jos\'e Mena, Oriol Pujol, Jordi Vitri\`a
- Abstract要約: 本研究では,不確実性の尺度を用いて出力予測を充実させるラッパーを提案する。
結果の不確実性に基づいて、より確実な予測を選択する拒絶制度を提唱する。
その結果,ラッパーが計算した不確実性の有効性が示された。
- 参考スコア(独自算出の注目度): 0.5156484100374058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, the use of machine learning models is becoming a utility in many
applications. Companies deliver pre-trained models encapsulated as application
programming interfaces (APIs) that developers combine with third party
components and their own models and data to create complex data products to
solve specific problems. The complexity of such products and the lack of
control and knowledge of the internals of each component used cause unavoidable
effects, such as lack of transparency, difficulty in auditability, and
emergence of potential uncontrolled risks. They are effectively black-boxes.
Accountability of such solutions is a challenge for the auditors and the
machine learning community. In this work, we propose a wrapper that given a
black-box model enriches its output prediction with a measure of uncertainty.
By using this wrapper, we make the black-box auditable for the accuracy risk
(risk derived from low quality or uncertain decisions) and at the same time we
provide an actionable mechanism to mitigate that risk in the form of decision
rejection; we can choose not to issue a prediction when the risk or uncertainty
in that decision is significant. Based on the resulting uncertainty measure, we
advocate for a rejection system that selects the more confident predictions,
discarding those more uncertain, leading to an improvement in the trustability
of the resulting system. We showcase the proposed technique and methodology in
a practical scenario where a simulated sentiment analysis API based on natural
language processing is applied to different domains. Results demonstrate the
effectiveness of the uncertainty computed by the wrapper and its high
correlation to bad quality predictions and misclassifications.
- Abstract(参考訳): 現在、機械学習モデルの使用は多くのアプリケーションでユーティリティになっています。
企業は、開発者がサードパーティのコンポーネントと自身のモデルとデータを組み合わせて、特定の問題を解決するための複雑なデータ製品を作成するアプリケーションプログラミングインターフェース(api)としてカプセル化された事前トレーニングされたモデルを提供する。
このような製品の複雑さと各コンポーネントの内部の制御と知識の欠如は、透明性の欠如、監査の難しさ、潜在的な制御不能なリスクの発生といった、避けられない影響を引き起こす。
事実上ブラックボックスである。
このようなソリューションのアカウンタビリティは、監査人や機械学習コミュニティにとって課題である。
本研究では,ブラックボックスモデルが与えられたラッパーを提案し,その出力予測を不確実性の尺度で強化する。
このラッパーを用いることで、ブラックボックスを正確なリスク(低い品質や不確実性によるリスク)について監査可能とし、同時に、そのリスクを決定拒否という形で軽減するための実行可能なメカニズムを提供する。
結果として得られた不確実性尺度に基づき、より自信のある予測を選択し、より不確実性のある予測を破棄し、結果のシステムの信頼性を向上させる拒絶システムを提案する。
本稿では,自然言語処理に基づく感情分析apiを異なるドメインに適用する実践シナリオとして,提案手法と手法を紹介する。
その結果、ラッパーが計算した不確実性の有効性と、品質の悪い予測と誤分類との高い相関が示された。
関連論文リスト
- Quantifying Uncertainty in Deep Learning Classification with Noise in
Discrete Inputs for Risk-Based Decision Making [1.529943343419486]
本稿では,Deep Neural Network(DNN)モデルの予測不確実性を定量化する数学的枠組みを提案する。
予測の不確実性は、既知の有限離散分布に従う予測器の誤差から生じる。
提案フレームワークは,予測器の離散誤差が存在する場合のアプリケーションにおけるリスクベースの意思決定を支援する。
論文 参考訳(メタデータ) (2023-10-09T19:26:24Z) - Distribution-free risk assessment of regression-based machine learning
algorithms [6.507711025292814]
我々は回帰アルゴリズムとモデル予測の周囲に定義された区間内に存在する真のラベルの確率を計算するリスク評価タスクに焦点をあてる。
そこで,本研究では,正のラベルを所定の確率で含むことが保証される予測区間を提供する共形予測手法を用いてリスク評価問題を解決する。
論文 参考訳(メタデータ) (2023-10-05T13:57:24Z) - Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。
昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。
本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-03T20:37:55Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳(メタデータ) (2021-07-28T10:28:05Z) - Ensemble Quantile Networks: Uncertainty-Aware Reinforcement Learning
with Applications in Autonomous Driving [1.6758573326215689]
強化学習は、自律運転のための意思決定エージェントを作成するために使用できる。
これまでのアプローチではブラックボックスソリューションのみを提供しており、エージェントがその決定に対する自信について情報を提供していない。
本稿では,分布RLとアンサンブルアプローチを組み合わせて完全不確実性推定を行うEnsemble Quantile Networks (EQN)法を提案する。
論文 参考訳(メタデータ) (2021-05-21T10:36:16Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳(メタデータ) (2021-05-17T08:36:18Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [89.01584399789951]
歴史的専門家の意思決定を豊富な情報源として利用することを検討します。
観察されたラベルだけで学習する制限を緩和するために活用できることを示しています。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z) - Approaching Neural Network Uncertainty Realism [53.308409014122816]
自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。
マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。
自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
論文 参考訳(メタデータ) (2021-01-08T11:56:12Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳(メタデータ) (2020-11-15T17:26:14Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳(メタデータ) (2020-07-14T15:47:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。