論文の概要: Towards Unbiased and Accurate Deferral to Multiple Experts
- arxiv url: http://arxiv.org/abs/2102.13004v1
- Date: Thu, 25 Feb 2021 17:08:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-26 13:55:04.830033
- Title: Towards Unbiased and Accurate Deferral to Multiple Experts
- Title（参考訳）: 複数の専門家に対する不偏と正確な決定に向けて
- Authors: Vijay Keswani, Matthew Lease, Krishnaram Kenthapadi
- Abstract要約: 本研究では, 分類器とディフェラルシステムを同時に学習するフレームワークを提案し, ディフェラルシステムは1人以上の人間専門家にディジェラルシステムを選択する。
本フレームワークは,偏りのある合成専門家による合成データセットとコンテンツモデレーションデータセットを用いてテストし,最終予測の精度と公平性を大幅に向上させることを示す。
- 参考スコア（独自算出の注目度）: 19.24068936057053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models are often implemented in cohort with humans in the
pipeline, with the model having an option to defer to a domain expert in cases
where it has low confidence in its inference. Our goal is to design mechanisms
for ensuring accuracy and fairness in such prediction systems that combine
machine learning model inferences and domain expert predictions. Prior work on
"deferral systems" in classification settings has focused on the setting of a
pipeline with a single expert and aimed to accommodate the inaccuracies and
biases of this expert to simultaneously learn an inference model and a deferral
system. Our work extends this framework to settings where multiple experts are
available, with each expert having their own domain of expertise and biases. We
propose a framework that simultaneously learns a classifier and a deferral
system, with the deferral system choosing to defer to one or more human experts
in cases of input where the classifier has low confidence. We test our
framework on a synthetic dataset and a content moderation dataset with biased
synthetic experts, and show that it significantly improves the accuracy and
fairness of the final predictions, compared to the baselines. We also collect
crowdsourced labels for the content moderation task to construct a real-world
dataset for the evaluation of hybrid machine-human frameworks and show that our
proposed learning framework outperforms baselines on this real-world dataset as
well.
- Abstract（参考訳）: マシンラーニングモデルは、パイプライン内の人間とコホートで実装されることが多い。モデルには、推論の信頼性が低い場合には、ドメインの専門家に延期するオプションがある。
我々の目標は、機械学習モデル推論とドメインエキスパート予測を組み合わせた予測システムにおいて、精度と公平性を確保するメカニズムを設計することである。
分類設定における「デフォルトシステム」に関する以前の作業は、単一の専門家によるパイプラインの設定に焦点を当てており、この専門家の不正確さとバイアスに対応して、推論モデルとデフレシステムを同時に学習することを目的としています。
私たちの仕事は、このフレームワークを複数の専門家が利用可能な設定に拡張し、各専門家は独自の専門知識と偏見を持っています。
本稿では,分類器と推論システムを同時に学習する枠組みを提案し,分類器が信頼度が低い入力の場合,推論システムが1人以上の人間専門家に推論することを選択する。
本フレームワークは,偏りのある合成専門家による合成データセットとコンテンツモデレーションデータセットを用いてテストし,ベースラインと比較して最終予測の精度と公平性を大幅に向上させることを示した。
また、コンテンツモデレーションタスクのクラウドソースラベルを収集し、ハイブリッドマシンヒューマンフレームワークの評価のための実世界のデータセットを構築し、提案された学習フレームワークがこの実世界のデータセットのベースラインを上回っていることを示します。
関連論文リスト
- Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。
提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
論文 参考訳（メタデータ） (2024-09-23T21:27:26Z) - Diversified Ensembling: An Experiment in Crowdsourced Machine Learning [18.192916651221882]
arXiv:2201.10408において、著者らは公正機械学習の文脈で代替のクラウドソーシングフレームワークを開発した。
46のチームが参加し,このフレームワークを中規模で実験的に評価した。
論文 参考訳（メタデータ） (2024-02-16T16:20:43Z) - AMEND: A Mixture of Experts Framework for Long-tailed Trajectory Prediction [6.724750970258851]
軌道予測のためのモジュラーモデル非依存フレームワークを提案する。
各専門家は、データの特定の部分に関して、特別なスキルで訓練される。
予測のために,相対的信頼スコアを生成することで,最高の専門家を選択するルータネットワークを利用する。
論文 参考訳（メタデータ） (2024-02-13T02:43:41Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Designing Decision Support Systems Using Counterfactual Prediction Sets [15.121082690769525]
分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。
本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。
私たちは専門家のモデルを必要としない方法論を開発しています。
論文 参考訳（メタデータ） (2023-06-06T18:00:09Z) - Incorporating Experts' Judgment into Machine Learning Models [2.5363839239628843]
場合によっては、ドメインの専門家は、機械学習モデルの予測と矛盾する可能性のある期待された結果について判断するかもしれません。
紛争を緩和するために専門家の判断を活用する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-04-24T07:32:49Z) - Investigating Bias with a Synthetic Data Generator: Empirical Evidence
and Philosophical Interpretation [66.64736150040093]
機械学習の応用は、私たちの社会でますます広まりつつある。
リスクは、データに埋め込まれたバイアスを体系的に広めることである。
本稿では,特定の種類のバイアスとその組み合わせで合成データを生成するフレームワークを導入することにより,バイアスを分析することを提案する。
論文 参考訳（メタデータ） (2022-09-13T11:18:50Z) - SuperCone: Modeling Heterogeneous Experts with Concept Meta-learning for
Unified Predictive Segments System [8.917697023052257]
統合述語セグメントシステムであるSuperConeについて述べる。
これは、各ユーザの異質なデジタルフットプリントを要約するフラットな概念表現の上に構築される。
様々な述語セグメントタスクにおいて、最先端のレコメンデーションとランキングアルゴリズムを上回ります。
論文 参考訳（メタデータ） (2022-03-09T04:11:39Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳（メタデータ） (2021-07-28T10:28:05Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳（メタデータ） (2021-01-24T05:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。