論文の概要: Cost-Sensitive Learning to Defer to Multiple Experts with Workload Constraints
- arxiv url: http://arxiv.org/abs/2403.06906v2
- Date: Thu, 21 Mar 2024 12:30:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 18:48:21.252276
- Title: Cost-Sensitive Learning to Defer to Multiple Experts with Workload Constraints
- Title(参考訳): ワークロード制約のある複数のエキスパートに対処するためのコスト感的な学習
- Authors: Jean V. Alves, Diogo Leitão, Sérgio Jesus, Marco O. P. Sampaio, Javier Liébana, Pedro Saleiro, Mário A. T. Figueiredo, Pedro Bizarro,
- Abstract要約: 遅延の学習は人間とAIのコラボレーションシステムを改善することを目的としている。
L2Dの既存の研究は、実際の導入を妨げる現実世界のシステムの主要な側面を見落としている。
コストとキャパシティ制約の枠組み(DeCCaF)を提案する。
- 参考スコア(独自算出の注目度): 10.917274244918985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning to defer (L2D) aims to improve human-AI collaboration systems by learning how to defer decisions to humans when they are more likely to be correct than an ML classifier. Existing research in L2D overlooks key aspects of real-world systems that impede its practical adoption, namely: i) neglecting cost-sensitive scenarios, where type 1 and type 2 errors have different costs; ii) requiring concurrent human predictions for every instance of the training dataset and iii) not dealing with human work capacity constraints. To address these issues, we propose the deferral under cost and capacity constraints framework (DeCCaF). DeCCaF is a novel L2D approach, employing supervised learning to model the probability of human error under less restrictive data requirements (only one expert prediction per instance) and using constraint programming to globally minimize the error cost subject to workload limitations. We test DeCCaF in a series of cost-sensitive fraud detection scenarios with different teams of 9 synthetic fraud analysts, with individual work capacity constraints. The results demonstrate that our approach performs significantly better than the baselines in a wide array of scenarios, achieving an average 8.4% reduction in the misclassification cost.
- Abstract(参考訳): L2D(Learning to Defer)は、ML分類器よりも正確である可能性が高いときに、人間に意思決定を延期する方法を学ぶことによって、人間とAIのコラボレーションシステムを改善することを目的としている。
L2Dの既存の研究は、現実のシステムにおいて、その実践的採用を妨げる重要な側面を見落としている。
一 タイプ1及びタイプ2のエラーが異なるコストのかかる費用に敏感なシナリオを無視すること。
二 訓練データセットのすべての事例に同時人為的な予測を必要とすること。
三 人間の労働力の制限に対処しないこと。
これらの問題に対処するため、コストとキャパシティ制約の枠組み(DeCCaF)を提案する。
DeCCaFは新しいL2Dアプローチであり、教師付き学習を用いて、制約の少ないデータ要件(インスタンス毎に1つの専門家予測のみ)下でのヒューマンエラーの確率をモデル化し、制約プログラミングを使用して、ワークロード制限によるエラーコストを世界規模で最小化する。
そこで我々は,DeCCaFを,9人の総合詐欺分析家の異なるチームを対象に,作業能力に制約のある一連のコスト感受性詐欺検出シナリオで検証した。
その結果,提案手法は幅広いシナリオのベースラインよりも優れた性能を示し,誤分類コストの平均8.4%削減を実現している。
関連論文リスト
- Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。
我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。
実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-05-03T14:38:59Z) - FiFAR: A Fraud Detection Dataset for Learning to Defer [9.187694794359498]
本研究では、銀行口座不正検出データセットであるFiFAR(Financial Fraud Alert Review dataset)を紹介する。
FiFARには、複雑な50人のチームによる予測が含まれている。
我々は,本データセットを用いて,現実的なデータ可用性条件下でのキャパシティを意識したL2D法と拒絶学習手法を開発した。
論文 参考訳(メタデータ) (2023-12-20T17:36:36Z) - ZooPFL: Exploring Black-box Foundation Models for Personalized Federated
Learning [95.64041188351393]
本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。
個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。
計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
論文 参考訳(メタデータ) (2023-10-08T12:26:13Z) - Stochastic Methods for AUC Optimization subject to AUC-based Fairness
Constraints [51.12047280149546]
公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。
フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。
フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-12-23T22:29:08Z) - Optimizing Data Collection for Machine Learning [87.37252958806856]
現代のディープラーニングシステムは、素晴らしいパフォーマンスを達成するために巨大なデータセットを必要とします。
過度に収集したデータは不要な現在のコストを発生させる一方、過度に収集したデータは将来のコストと遅延を引き起こす可能性がある。
本稿では,データ収集を形式的最適データ収集問題としてモデル化するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-10-03T21:19:05Z) - Quantization for decentralized learning under subspace constraints [61.59416703323886]
エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。
本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。
この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
論文 参考訳(メタデータ) (2022-09-16T09:38:38Z) - Rethinking Cost-sensitive Classification in Deep Learning via
Adversarial Data Augmentation [4.479834103607382]
コストに敏感な分類は、誤分類エラーがコストで大きく異なるアプリケーションにおいて重要である。
本稿では,過度パラメータ化モデルにコスト感受性を持たせるために,コスト依存型逆データ拡張フレームワークを提案する。
提案手法は,全体のコストを効果的に最小化し,臨界誤差を低減するとともに,全体的な精度で同等の性能を達成できる。
論文 参考訳(メタデータ) (2022-08-24T19:00:30Z) - Instance Selection Mechanisms for Human-in-the-Loop Systems in Few-Shot
Learning [0.0]
ラベル付きデータをほとんど持たない新しいクラスを学習することで、データ収集とラベル付けのコストに対処する。
人的知識の獲得は,少数ショットモデルの性能を著しく向上させることを示す。
コンピュータビジョンと実世界のデータセットのベンチマークデータセットを用いて,様々な実験で得られた知見を検証した。
論文 参考訳(メタデータ) (2022-07-14T11:45:43Z) - Probabilistically Robust Recourse: Navigating the Trade-offs between
Costs and Robustness in Algorithmic Recourse [34.39887495671287]
本稿では,達成された(反感)と所望のリコース無効率とのギャップを同時に最小化する目的関数を提案する。
我々は,任意のインスタンスに対応するリコース無効化率を特徴付けるために,新しい理論的結果を開発した。
複数の実世界のデータセットを用いた実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2022-03-13T21:39:24Z) - Training Over-parameterized Models with Non-decomposable Objectives [46.62273918807789]
より一般的なコスト行列を扱うために,ロジット調整という古典的な考え方を拡張した新たなコスト感受性損失を提案する。
私たちの損失は校正され、教師モデルの蒸留ラベルでさらに改善できます。
論文 参考訳(メタデータ) (2021-07-09T19:29:33Z) - Cost-Sensitive Portfolio Selection via Deep Reinforcement Learning [100.73223416589596]
深層強化学習を用いたコスト依存型ポートフォリオ選択手法を提案する。
具体的には、価格系列パターンと資産相関の両方を抽出するために、新しい2ストリームポートフォリオポリシーネットワークを考案した。
蓄積したリターンを最大化し、強化学習によるコストの両立を抑えるため、新たなコスト感受性報酬関数が開発された。
論文 参考訳(メタデータ) (2020-03-06T06:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。