論文の概要: Incorporating Experts' Judgment into Machine Learning Models

• arxiv url: http://arxiv.org/abs/2304.11870v1
• Date: Mon, 24 Apr 2023 07:32:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 15:49:02.771023
• Title: Incorporating Experts' Judgment into Machine Learning Models
• Title（参考訳）: 機械学習モデルに専門家の判断を組み込む
• Authors: Hogun Park and Aly Megahed and Peifeng Yin and Yuya Ong and Pravar Mahajan and Pei Guo
• Abstract要約: 場合によっては、ドメインの専門家は、機械学習モデルの予測と矛盾する可能性のある期待された結果について判断するかもしれません。 紛争を緩和するために専門家の判断を活用する新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 2.5363839239628843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) models have been quite successful in predicting outcomes in many applications. However, in some cases, domain experts might have a judgment about the expected outcome that might conflict with the prediction of ML models. One main reason for this is that the training data might not be totally representative of the population. In this paper, we present a novel framework that aims at leveraging experts' judgment to mitigate the conflict. The underlying idea behind our framework is that we first determine, using a generative adversarial network, the degree of representation of an unlabeled data point in the training data. Then, based on such degree, we correct the \textcolor{black}{machine learning} model's prediction by incorporating the experts' judgment into it, where the higher that aforementioned degree of representation, the less the weight we put on the expert intuition that we add to our corrected output, and vice-versa. We perform multiple numerical experiments on synthetic data as well as two real-world case studies (one from the IT services industry and the other from the financial industry). All results show the effectiveness of our framework; it yields much higher closeness to the experts' judgment with minimal sacrifice in the prediction accuracy, when compared to multiple baseline methods. We also develop a new evaluation metric that combines prediction accuracy with the closeness to experts' judgment. Our framework yields statistically significant results when evaluated on that metric.
• Abstract（参考訳）: 機械学習(ML)モデルは、多くのアプリケーションで結果を予測することに成功している。 しかし、場合によっては、ドメインの専門家はMLモデルの予測と矛盾する可能性のある期待された結果について判断するかもしれない。 この主な理由は、トレーニングデータが完全に人口を表すものではないかもしれないためである。 本稿では,専門家の判断を活かして紛争を緩和することを目的とした新しい枠組みを提案する。 私たちのフレームワークの背後にある基本的な考え方は、トレーニングデータ内のラベルのないデータポイントの表現度を、生成的な敵ネットワークを用いて最初に決定することです。 そして,そのような度合いに基づいて,上記の表現度が高いほど,補正された出力に付加する専門家の直感に重みが小さいほど,その逆であるとする専門家の判断を組み込むことで,「textcolor{black}{machine learning}」モデルの予測を補正する。 我々は,合成データと実世界のケーススタディ(ITサービス産業と金融産業のケーススタディ)について,複数の数値実験を行った。 その結果,複数の基準法と比較して,予測精度の犠牲を最小限に抑えながら,専門家の判断に非常に近い精度が得られることがわかった。 また,予測精度と専門家の判断の近接性を組み合わせた新しい評価指標を開発した。 我々のフレームワークは、そのメトリックで評価すると統計的に有意な結果をもたらす。

関連論文リスト

• AMEND: A Mixture of Experts Framework for Long-tailed Trajectory Prediction [6.724750970258851]
  軌道予測のためのモジュラーモデル非依存フレームワークを提案する。 各専門家は、データの特定の部分に関して、特別なスキルで訓練される。 予測のために,相対的信頼スコアを生成することで,最高の専門家を選択するルータネットワークを利用する。
  論文  参考訳（メタデータ） (2024-02-13T02:43:41Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• Designing Decision Support Systems Using Counterfactual Prediction Sets [15.121082690769525]
  分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。 本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。 私たちは専門家のモデルを必要としない方法論を開発しています。
  論文  参考訳（メタデータ） (2023-06-06T18:00:09Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)
• Hessian-based toolbox for reliable and interpretable machine learning in physics [58.720142291102135]
  本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。 与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。 我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
  論文  参考訳（メタデータ） (2021-08-04T16:32:59Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• Towards Unbiased and Accurate Deferral to Multiple Experts [19.24068936057053]
  本研究では, 分類器とディフェラルシステムを同時に学習するフレームワークを提案し, ディフェラルシステムは1人以上の人間専門家にディジェラルシステムを選択する。 本フレームワークは,偏りのある合成専門家による合成データセットとコンテンツモデレーションデータセットを用いてテストし,最終予測の精度と公平性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-02-25T17:08:39Z)
• Financial Data Analysis Using Expert Bayesian Framework For Bankruptcy Prediction [0.0]
  本稿では,エキスパートベイズフレームワークを用いた生成モデリングの新たな手法を提案する。 提案フレームワークの最大の利点は、モデリングプロセスに専門家の判断を明示的に取り入れることである。 提案手法は、金融や医療診断など、高度に規制された、あるいは安全性の高い応用に適している。
  論文  参考訳（メタデータ） (2020-10-19T19:09:02Z)
• Competing AI: How does competition feedback affect machine learning? [14.350250426090893]
  コンペティションによって予測者が特定のサブ人口に特化し、一般人口よりもパフォーマンスが悪くなることを示す。 市場に競合する予測者が多すぎるか多すぎることが、全体的な予測品質を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-09-15T00:13:32Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。