論文の概要: Human-in-the-loop online multi-agent approach to increase
trustworthiness in ML models through trust scores and data augmentation
- arxiv url: http://arxiv.org/abs/2204.14255v1
- Date: Fri, 29 Apr 2022 17:33:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-02 16:57:15.345168
- Title: Human-in-the-loop online multi-agent approach to increase
trustworthiness in ML models through trust scores and data augmentation
- Title(参考訳): ヒューマン・イン・ザ・ループオンラインマルチエージェントによる信頼スコアとデータ拡張によるMLモデルの信頼性向上
- Authors: Gusseppe Bravo-Rocca, Peini Liu, Jordi Guitart, Ajay Dholakia, David
Ellison, Miroslav Hodak
- Abstract要約: 本稿では,機械エージェントと人エージェントを併用したマルチエージェントシステムを提案する。
我々は,MNISTおよびFashionMNISTデータセットの劣化バージョンに基づくシステムの評価を行った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Increasing a ML model accuracy is not enough, we must also increase its
trustworthiness. This is an important step for building resilient AI systems
for safety-critical applications such as automotive, finance, and healthcare.
For that purpose, we propose a multi-agent system that combines both machine
and human agents. In this system, a checker agent calculates a trust score of
each instance (which penalizes overconfidence and overcautiousness in
predictions) using an agreement-based method and ranks it; then an improver
agent filters the anomalous instances based on a human rule-based procedure
(which is considered safe), gets the human labels, applies geometric data
augmentation, and retrains with the augmented data using transfer learning. We
evaluate the system on corrupted versions of the MNIST and FashionMNIST
datasets. We get an improvement in accuracy and trust score with just few
additional labels compared to a baseline approach.
- Abstract(参考訳): mlモデルの精度を向上させるだけでは不十分です。
これは、自動車、金融、ヘルスケアといった安全クリティカルなアプリケーションのためのレジリエントなAIシステムを構築するための重要なステップである。
そこで本研究では,機械と人間のエージェントを組み合わせるマルチエージェントシステムを提案する。
このシステムにおいて、チェッカーエージェントは、合意に基づく方法を用いて各インスタンスの信頼スコア(予測における過信と過信を罰する)を算出し、それをランク付けし、その後、改善エージェントがヒトルールベースの手順(安全と考えられる)に基づいて異常なインスタンスをフィルタリングし、ヒトラベルを取得し、幾何学的データ拡張を行い、転送学習を用いて拡張データで再トレーニングする。
我々は,MNISTおよびFashionMNISTデータセットの劣化バージョンに基づくシステムの評価を行った。
ベースラインアプローチと比較して、ラベルをわずかに追加するだけで精度と信頼スコアが向上します。
関連論文リスト
- Evaluation of Predictive Reliability to Foster Trust in Artificial
Intelligence. A case study in Multiple Sclerosis [0.34473740271026115]
機械学習の失敗のスポッティングは、ML予測を使用して臨床上の決定を下す場合、最重要事項である。
我々は,任意のMLモデルのデプロイメントフェーズで使用可能なシンプルなアプローチを提案し,予測を信頼するか否かを提案する。
本手法は,デプロイメント中のML障害の可能性を見極めることによって,臨床医に効果的な支援を提供することを約束する。
論文 参考訳(メタデータ) (2024-02-27T14:48:07Z) - Churn Prediction via Multimodal Fusion Learning:Integrating Customer
Financial Literacy, Voice, and Behavioral Data [14.948017876322597]
本稿では,金融サービスプロバイダの顧客リスクレベルを特定するためのマルチモーダル融合学習モデルを提案する。
弊社のアプローチは、顧客感情の財務リテラシー(FL)レベルと、財務行動データを統合している。
我々の新しいアプローチは、チャーン予測の顕著な改善を示し、テスト精度91.2%、平均精度66、マクロ平均F1スコア54を達成した。
論文 参考訳(メタデータ) (2023-12-03T06:28:55Z) - A Confidence-based Partial Label Learning Model for Crowd-Annotated
Named Entity Recognition [74.79785063365289]
名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。
我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
論文 参考訳(メタデータ) (2023-05-21T15:31:23Z) - Recommendation Systems with Distribution-Free Reliability Guarantees [83.80644194980042]
我々は、主に良いアイテムを含むことを厳格に保証されたアイテムのセットを返す方法を示す。
本手法は, 擬似発見率の厳密な有限サンプル制御によるランキングモデルを提供する。
我々はYahoo!のランキングとMSMarcoデータセットの学習方法を評価する。
論文 参考訳(メタデータ) (2022-07-04T17:49:25Z) - FedFormer: Contextual Federation with Attention in Reinforcement
Learning [21.05134144161283]
FedFormerは、Transformer Attentionを使用してコンテキスト的に埋め込みを集約する新しいフェデレーション戦略である。
我々はメタワールド環境における手法の評価を行い,FedAvgや非フェデレートなソフトアクター・クリストイック・シングルエージェント法よりも優れた手法が得られた。
論文 参考訳(メタデータ) (2022-05-27T01:19:22Z) - Uncertainty-Aware Boosted Ensembling in Multi-Modal Settings [33.25969141014772]
不確実性推定は、デプロイにおける機械学習システムの信頼性を強調する、広く研究されている方法である。
逐次および並列アンサンブル手法により,マルチモーダル設定におけるMLシステムの性能が向上した。
本研究では,不確かさを高く見積もるデータポイントに着目し,マルチモーダルセンシングのための不確実性認識促進手法を提案する。
論文 参考訳(メタデータ) (2021-04-21T18:28:13Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z) - Model-based Reinforcement Learning for Decentralized Multiagent
Rendezvous [66.6895109554163]
目標を他のエージェントと整合させる人間の能力の下にあるのは、他人の意図を予測し、自分たちの計画を積極的に更新する能力である。
分散型マルチエージェントレンデブーのためのモデルに基づく強化学習手法である階層型予測計画(HPP)を提案する。
論文 参考訳(メタデータ) (2020-03-15T19:49:20Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳(メタデータ) (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。