論文の概要: Dirichlet uncertainty wrappers for actionable algorithm accuracy
accountability and auditability
- arxiv url: http://arxiv.org/abs/1912.12628v1
- Date: Sun, 29 Dec 2019 11:05:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-17 07:28:40.380415
- Title: Dirichlet uncertainty wrappers for actionable algorithm accuracy
accountability and auditability
- Title（参考訳）: ディリクレの不確実性ラッパーによるアルゴリズムの精度と監査可能性の検証
- Authors: Jos\'e Mena, Oriol Pujol, Jordi Vitri\`a
- Abstract要約: 本研究では,不確実性の尺度を用いて出力予測を充実させるラッパーを提案する。
結果の不確実性に基づいて、より確実な予測を選択する拒絶制度を提唱する。
その結果,ラッパーが計算した不確実性の有効性が示された。
- 参考スコア（独自算出の注目度）: 0.5156484100374058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, the use of machine learning models is becoming a utility in many
applications. Companies deliver pre-trained models encapsulated as application
programming interfaces (APIs) that developers combine with third party
components and their own models and data to create complex data products to
solve specific problems. The complexity of such products and the lack of
control and knowledge of the internals of each component used cause unavoidable
effects, such as lack of transparency, difficulty in auditability, and
emergence of potential uncontrolled risks. They are effectively black-boxes.
Accountability of such solutions is a challenge for the auditors and the
machine learning community. In this work, we propose a wrapper that given a
black-box model enriches its output prediction with a measure of uncertainty.
By using this wrapper, we make the black-box auditable for the accuracy risk
(risk derived from low quality or uncertain decisions) and at the same time we
provide an actionable mechanism to mitigate that risk in the form of decision
rejection; we can choose not to issue a prediction when the risk or uncertainty
in that decision is significant. Based on the resulting uncertainty measure, we
advocate for a rejection system that selects the more confident predictions,
discarding those more uncertain, leading to an improvement in the trustability
of the resulting system. We showcase the proposed technique and methodology in
a practical scenario where a simulated sentiment analysis API based on natural
language processing is applied to different domains. Results demonstrate the
effectiveness of the uncertainty computed by the wrapper and its high
correlation to bad quality predictions and misclassifications.
- Abstract（参考訳）: 現在、機械学習モデルの使用は多くのアプリケーションでユーティリティになっています。
企業は、開発者がサードパーティのコンポーネントと自身のモデルとデータを組み合わせて、特定の問題を解決するための複雑なデータ製品を作成するアプリケーションプログラミングインターフェース(api)としてカプセル化された事前トレーニングされたモデルを提供する。
このような製品の複雑さと各コンポーネントの内部の制御と知識の欠如は、透明性の欠如、監査の難しさ、潜在的な制御不能なリスクの発生といった、避けられない影響を引き起こす。
事実上ブラックボックスである。
このようなソリューションのアカウンタビリティは、監査人や機械学習コミュニティにとって課題である。
本研究では,ブラックボックスモデルが与えられたラッパーを提案し,その出力予測を不確実性の尺度で強化する。
このラッパーを用いることで、ブラックボックスを正確なリスク(低い品質や不確実性によるリスク)について監査可能とし、同時に、そのリスクを決定拒否という形で軽減するための実行可能なメカニズムを提供する。
結果として得られた不確実性尺度に基づき、より自信のある予測を選択し、より不確実性のある予測を破棄し、結果のシステムの信頼性を向上させる拒絶システムを提案する。
本稿では,自然言語処理に基づく感情分析apiを異なるドメインに適用する実践シナリオとして,提案手法と手法を紹介する。
その結果、ラッパーが計算した不確実性の有効性と、品質の悪い予測と誤分類との高い相関が示された。
関連論文リスト
- Uncertainty Quantification in Stereo Matching [61.73532883992135]
ステレオマッチングのための新しいフレームワークとその不確実性定量化を提案する。
我々は、不確実性と推定データの尺度としてベイズリスクを採用し、個別に不確実性をモデル化する。
我々は,不確実性の少ないデータポイントを選択することにより,予測精度を向上させるために不確実性手法を適用した。
論文 参考訳（メタデータ） (2024-12-24T23:28:20Z) - A Hybrid Framework for Statistical Feature Selection and Image-Based Noise-Defect Detection [55.2480439325792]
本稿では,統計的特徴選択と分類技術を統合し,欠陥検出精度を向上させるハイブリッドフレームワークを提案する。
工業画像から抽出した55個の特徴を統計的手法を用いて解析した。
これらの手法をフレキシブルな機械学習アプリケーションに統合することにより、検出精度を改善し、偽陽性や誤分類を減らす。
論文 参考訳（メタデータ） (2024-12-11T22:12:21Z) - Uncertainty Quantification for Transformer Models for Dark-Pattern Detection [0.21427777919040417]
本研究は、ユーザ決定を操作し、自律性と同意を損なう、暗パターン検出、偽造設計の選択に焦点を当てる。
本稿では, 変圧器を用いた事前学習モデルを用いた不確実性定量化により, 最終分類ヘッドに実装した微分微調整手法を提案する。
論文 参考訳（メタデータ） (2024-12-06T18:31:51Z) - Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。
本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。
この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
論文 参考訳（メタデータ） (2024-11-03T17:32:00Z) - Explainability through uncertainty: Trustworthy decision-making with neural networks [1.104960878651584]
不確実性は、あらゆる機械学習モデルの主要な特徴である。
ニューラルネットワークでは特に重要であり、過信されがちである。
XAIとしての不確実性は、下流の意思決定タスクにおけるモデルの信頼性を改善する。
論文 参考訳（メタデータ） (2024-03-15T10:22:48Z) - Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。
昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。
本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-03T20:37:55Z) - Ensemble Quantile Networks: Uncertainty-Aware Reinforcement Learning
with Applications in Autonomous Driving [1.6758573326215689]
強化学習は、自律運転のための意思決定エージェントを作成するために使用できる。
これまでのアプローチではブラックボックスソリューションのみを提供しており、エージェントがその決定に対する自信について情報を提供していない。
本稿では,分布RLとアンサンブルアプローチを組み合わせて完全不確実性推定を行うEnsemble Quantile Networks (EQN)法を提案する。
論文 参考訳（メタデータ） (2021-05-21T10:36:16Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳（メタデータ） (2021-05-17T08:36:18Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳（メタデータ） (2020-07-14T15:47:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。