論文の概要: Human-in-the-loop online multi-agent approach to increase trustworthiness in ML models through trust scores and data augmentation

• arxiv url: http://arxiv.org/abs/2204.14255v2
• Date: Mon, 2 May 2022 10:33:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 11:36:38.150596
• Title: Human-in-the-loop online multi-agent approach to increase trustworthiness in ML models through trust scores and data augmentation
• Title（参考訳）: ヒューマン・イン・ザ・ループオンラインマルチエージェントによる信頼スコアとデータ拡張によるMLモデルの信頼性向上
• Authors: Gusseppe Bravo-Rocca, Peini Liu, Jordi Guitart, Ajay Dholakia, David Ellison, Miroslav Hodak
• Abstract要約: 本稿では,機械エージェントと人エージェントを併用したマルチエージェントシステムを提案する。 我々は,MNISTおよびFashionMNISTデータセットの劣化バージョンに基づくシステムの評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Increasing a ML model accuracy is not enough, we must also increase its trustworthiness. This is an important step for building resilient AI systems for safety-critical applications such as automotive, finance, and healthcare. For that purpose, we propose a multi-agent system that combines both machine and human agents. In this system, a checker agent calculates a trust score of each instance (which penalizes overconfidence and overcautiousness in predictions) using an agreement-based method and ranks it; then an improver agent filters the anomalous instances based on a human rule-based procedure (which is considered safe), gets the human labels, applies geometric data augmentation, and retrains with the augmented data using transfer learning. We evaluate the system on corrupted versions of the MNIST and FashionMNIST datasets. We get an improvement in accuracy and trust score with just few additional labels compared to a baseline approach.
• Abstract（参考訳）: mlモデルの精度を向上させるだけでは不十分です。 これは、自動車、金融、ヘルスケアといった安全クリティカルなアプリケーションのためのレジリエントなAIシステムを構築するための重要なステップである。 そこで本研究では,機械と人間のエージェントを組み合わせるマルチエージェントシステムを提案する。 このシステムにおいて、チェッカーエージェントは、合意に基づく方法を用いて各インスタンスの信頼スコア(予測における過信と過信を罰する)を算出し、それをランク付けし、その後、改善エージェントがヒトルールベースの手順(安全と考えられる)に基づいて異常なインスタンスをフィルタリングし、ヒトラベルを取得し、幾何学的データ拡張を行い、転送学習を用いて拡張データで再トレーニングする。 我々は,MNISTおよびFashionMNISTデータセットの劣化バージョンに基づくシステムの評価を行った。 ベースラインアプローチと比較して、ラベルをわずかに追加するだけで精度と信頼スコアが向上します。

関連論文リスト

• Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
  本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
  論文  参考訳（メタデータ） (2024-10-14T17:57:02Z)
• VERA: Validation and Evaluation of Retrieval-Augmented Systems [5.709401805125129]
  VERAは、大規模言語モデル(LLM)からの出力の透明性と信頼性を高めるために設計されたフレームワークである。 VERAが意思決定プロセスを強化し、AIアプリケーションへの信頼を高める方法を示す。
  論文  参考訳（メタデータ） (2024-08-16T21:59:59Z)
• Fostering Trust and Quantifying Value of AI and ML [0.0]
  AIとML推論の信頼について多くの議論がなされているが、それが何を意味するのかを定義するためにはほとんど行われていない。 より信頼できる機械学習推論を生み出すことは、製品の価値を高めるための道です。
  論文  参考訳（メタデータ） (2024-07-08T13:25:28Z)
• Credit Card Fraud Detection Using Advanced Transformer Model [15.34892016767672]
  本研究は、より堅牢で正確な不正検出のための最新のTransformerモデルの革新的な応用に焦点を当てる。 データソースを慎重に処理し、データセットのバランスをとり、データの分散性の問題に対処しました。 我々は、SVM(Support Vector Machine)、ランダムフォレスト(Random Forest)、ニューラルネットワーク(Neural Network)、ロジスティック回帰(Logistic Regression)など、広く採用されているいくつかのモデルと性能比較を行った。
  論文  参考訳（メタデータ） (2024-06-06T04:12:57Z)
• Churn Prediction via Multimodal Fusion Learning:Integrating Customer Financial Literacy, Voice, and Behavioral Data [14.948017876322597]
  本稿では,金融サービスプロバイダの顧客リスクレベルを特定するためのマルチモーダル融合学習モデルを提案する。 弊社のアプローチは、顧客感情の財務リテラシー(FL)レベルと、財務行動データを統合している。 我々の新しいアプローチは、チャーン予測の顕著な改善を示し、テスト精度91.2%、平均精度66、マクロ平均F1スコア54を達成した。
  論文  参考訳（メタデータ） (2023-12-03T06:28:55Z)
• Recommendation Systems with Distribution-Free Reliability Guarantees [83.80644194980042]
  我々は、主に良いアイテムを含むことを厳格に保証されたアイテムのセットを返す方法を示す。 本手法は, 擬似発見率の厳密な有限サンプル制御によるランキングモデルを提供する。 我々はYahoo!のランキングとMSMarcoデータセットの学習方法を評価する。
  論文  参考訳（メタデータ） (2022-07-04T17:49:25Z)
• Uncertainty-Aware Boosted Ensembling in Multi-Modal Settings [33.25969141014772]
  不確実性推定は、デプロイにおける機械学習システムの信頼性を強調する、広く研究されている方法である。 逐次および並列アンサンブル手法により,マルチモーダル設定におけるMLシステムの性能が向上した。 本研究では,不確かさを高く見積もるデータポイントに着目し,マルチモーダルセンシングのための不確実性認識促進手法を提案する。
  論文  参考訳（メタデータ） (2021-04-21T18:28:13Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Model-based Reinforcement Learning for Decentralized Multiagent Rendezvous [66.6895109554163]
  目標を他のエージェントと整合させる人間の能力の下にあるのは、他人の意図を予測し、自分たちの計画を積極的に更新する能力である。 分散型マルチエージェントレンデブーのためのモデルに基づく強化学習手法である階層型予測計画(HPP)を提案する。
  論文  参考訳（メタデータ） (2020-03-15T19:49:20Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。