論文の概要: Combining Human Predictions with Model Probabilities via Confusion Matrices and Calibration

• arxiv url: http://arxiv.org/abs/2109.14591v2
• Date: Fri, 1 Oct 2021 17:19:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-04 12:15:28.322332
• Title: Combining Human Predictions with Model Probabilities via Confusion Matrices and Calibration
• Title（参考訳）: 混乱行列とキャリブレーションによる人間の予測とモデル確率の組合せ
• Authors: Gavin Kerrigan, Padhraic Smyth, Mark Steyvers
• Abstract要約: 本研究では,モデルの確率的出力と人間のクラスレベルの出力を結合するアルゴリズムの開発を行う。 理論的には, 組み合わせモデルの精度は, 個々の人やモデルの精度だけでなく, モデルの信頼性にも左右されることが示されている。
• 参考スコア（独自算出の注目度）: 11.75395256889808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An increasingly common use case for machine learning models is augmenting the abilities of human decision makers. For classification tasks where neither the human or model are perfectly accurate, a key step in obtaining high performance is combining their individual predictions in a manner that leverages their relative strengths. In this work, we develop a set of algorithms that combine the probabilistic output of a model with the class-level output of a human. We show theoretically that the accuracy of our combination model is driven not only by the individual human and model accuracies, but also by the model's confidence. Empirical results on image classification with CIFAR-10 and a subset of ImageNet demonstrate that such human-model combinations consistently have higher accuracies than the model or human alone, and that the parameters of the combination method can be estimated effectively with as few as ten labeled datapoints.
• Abstract（参考訳）: 機械学習モデルの一般的なユースケースは、人間の意思決定者の能力を高めることだ。 人間やモデルが完全に正確でない分類タスクでは、高いパフォーマンスを得るための重要なステップは、相対的な強度を活用する方法で個々の予測を組み合わせることである。 本研究では,モデルの確率的出力と人間のクラスレベルの出力を組み合わせたアルゴリズムの開発を行う。 理論的には、組み合わせモデルの精度は、個々の人間とモデルの精度だけでなく、モデルの自信によっても駆動される。 CIFAR-10とImageNetのサブセットによる画像分類に関する実証的な結果は、そのようなモデルとモデルの組み合わせはモデルや人間単独よりも一貫して精度が高く、組み合わせ手法のパラメータは10個のラベル付きデータポイントで効果的に推定できることを示している。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Embedding-based statistical inference on generative models [10.948308354932639]
  生成モデルの埋め込みに基づく表現に関する結果を、古典的な統計的推論設定に拡張する。 類似」の概念の基盤として視点空間を用いることは、複数のモデルレベルの推論タスクに有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-01T22:28:39Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Stochastic Parameterizations: Better Modelling of Temporal Correlations using Probabilistic Machine Learning [1.5293427903448025]
  確率的フレームワーク内で物理インフォームされたリカレントニューラルネットワークを用いることで,96大気シミュレーションのモデルが競合することを示す。 これは、標準の1次自己回帰スキームと比較して時間的相関をモデル化する能力が優れているためである。 文献から多くの指標を評価するとともに、将来的な気候モデルにおいて、確率論的尺度が統一的な選択である可能性についても論じる。
  論文  参考訳（メタデータ） (2022-03-28T14:51:42Z)
• A Relational Model for One-Shot Classification [80.77724423309184]
  インダクティブバイアスを組み込んだディープラーニングモデルは,広範なデータ拡張に頼ることなく,サンプル効率のよい学習にメリットをもたらすことを示す。 提案するワンショット分類モデルは,一対の入力を局所的および対的注意の形で関係マッチングする。
  論文  参考訳（メタデータ） (2021-11-08T07:53:12Z)
• Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose? [0.2836066255205732]
  我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。 マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。 また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
  論文  参考訳（メタデータ） (2021-07-24T11:38:25Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• PSD2 Explainable AI Model for Credit Scoring [0.0]
  本研究の目的は、信用リスクモデルの予測精度を向上させるための高度な分析手法の開発と試験である。 このプロジェクトは、銀行関連のデータベースに説明可能な機械学習モデルを適用することに焦点を当てている。
  論文  参考訳（メタデータ） (2020-11-20T12:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。