論文の概要: Crowd-Certain: Label Aggregation in Crowdsourced and Ensemble Learning Classification

• arxiv url: http://arxiv.org/abs/2310.16293v1
• Date: Wed, 25 Oct 2023 01:58:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 17:19:17.788157
• Title: Crowd-Certain: Label Aggregation in Crowdsourced and Ensemble Learning Classification
• Title（参考訳）: クラウドソーシングとアンサンブル学習の分類におけるラベル集約
• Authors: Mohammad S. Majdi and Jeffrey J. Rodriguez
• Abstract要約: クラウドソースおよびアンサンブル学習分類タスクにおけるラベルアグリゲーションのための新しいアプローチであるCrowd-Certainを紹介する。 提案手法は,アノテータと訓練された分類器の整合性を利用して,各アノテータの信頼性スコアを決定する。 我々は10の異なるデータセットにまたがる10の既存手法に対するアプローチを広範囲に評価し、それぞれに異なる数のアノテータをラベル付けした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Crowdsourcing systems have been used to accumulate massive amounts of labeled data for applications such as computer vision and natural language processing. However, because crowdsourced labeling is inherently dynamic and uncertain, developing a technique that can work in most situations is extremely challenging. In this paper, we introduce Crowd-Certain, a novel approach for label aggregation in crowdsourced and ensemble learning classification tasks that offers improved performance and computational efficiency for different numbers of annotators and a variety of datasets. The proposed method uses the consistency of the annotators versus a trained classifier to determine a reliability score for each annotator. Furthermore, Crowd-Certain leverages predicted probabilities, enabling the reuse of trained classifiers on future sample data, thereby eliminating the need for recurrent simulation processes inherent in existing methods. We extensively evaluated our approach against ten existing techniques across ten different datasets, each labeled by varying numbers of annotators. The findings demonstrate that Crowd-Certain outperforms the existing methods (Tao, Sheng, KOS, MACE, MajorityVote, MMSR, Wawa, Zero-Based Skill, GLAD, and Dawid Skene), in nearly all scenarios, delivering higher average accuracy, F1 scores, and AUC rates. Additionally, we introduce a variation of two existing confidence score measurement techniques. Finally we evaluate these two confidence score techniques using two evaluation metrics: Expected Calibration Error (ECE) and Brier Score Loss. Our results show that Crowd-Certain achieves higher Brier Score, and lower ECE across the majority of the examined datasets, suggesting better calibrated results.
• Abstract（参考訳）: クラウドソーシングシステムは、コンピュータビジョンや自然言語処理などのアプリケーションに大量のラベル付きデータを蓄積するために使われてきた。 しかし,クラウドソースラベリングは本質的に動的かつ不確実であるため,ほとんどの状況で機能する技術を開発することは極めて困難である。 本稿では,クラウドソース型およびアンサンブル型学習分類タスクにおけるラベルアグリゲーションのための新しいアプローチであるCrowd-Certainを紹介する。 提案手法は,アノテータと訓練された分類器の整合性を利用して,各アノテータの信頼性スコアを決定する。 さらにcrowd-certainは予測確率を活用し、将来のサンプルデータでの訓練された分類器の再利用を可能にし、既存の手法に固有の再帰シミュレーションプロセスの必要性をなくす。 私たちは、10の異なるデータセットにまたがる10の既存の技術に対するアプローチを広範囲に評価しました。 その結果、Crowd-Certainは既存の手法(Tao, Sheng, KOS, MACE, MajorityVote, MMSR, Wawa, Zero-Based Skill, GLAD, Dawid Skene)をほぼすべてのシナリオで上回り、より高い平均精度、F1スコア、AUCレートを実現している。 さらに,既存の信頼度測定手法を2種類導入した。 最後に,これら2つの信頼度評価手法を,期待校正誤差 (ECE) とBrier Score Loss の2つの評価指標を用いて評価した。 以上の結果から,Crowd-Certainはより高いBrier Score,低ECEを実現し,キャリブレーションの結果が得られた。

関連論文リスト

• Distribution-Aware Robust Learning from Long-Tailed Data with Noisy Labels [8.14255560923536]
  実世界のデータは、しばしば長い尾の分布とラベルノイズを示し、一般化性能を著しく低下させる。 近年の研究では,各クラス内の高信頼度サンプルに基づいて,各クラスのセントロイドを推定するノイズの多いサンプル選択手法に焦点が当てられている。 そこで我々は,分散型サンプル選択・コントラスト学習(DaSC)を提案し,拡張型セントロイドを生成する。
  論文  参考訳（メタデータ） (2024-07-23T19:06:15Z)
• Data Quality in Crowdsourcing and Spamming Behavior Detection [2.6481162211614118]
  本稿では,データ品質を評価し,分散分解によるスパムの脅威を検出するための体系的手法を提案する。 データ一貫性を評価するためにスパマーインデックスが提案され、群衆労働者の信頼性を測定するために2つの指標が開発された。
  論文  参考訳（メタデータ） (2024-04-04T02:21:38Z)
• Overcoming Overconfidence for Active Learning [1.2776312584227847]
  本稿では,アクティブな学習シナリオで発生する過信の問題に対処する2つの新しい手法を提案する。 1つ目はCross-Mix-and-Mix(CMaM)と呼ばれる拡張戦略で、限られたトレーニング分布を拡張してモデルを校正することを目的としている。 2つ目は Ranked Margin Sampling (RankedMS) という選択戦略である。
  論文  参考訳（メタデータ） (2023-08-21T09:04:54Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
  ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。 半教師付き長尾認識という新しい認識設定を提案する。 2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
  論文  参考訳（メタデータ） (2021-05-01T00:43:38Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• End-to-End Learning from Noisy Crowd to Supervised Machine Learning Models [6.278267504352446]
  我々は、ハイブリッドインテリジェンス、すなわち深層モデルと人間の専門家を組み合わせることで、ノイズの多いクラウドソースデータからエンドツーエンドの学習フレームワークを設計することを提唱する。 ラベルアグリゲーションは,アノテータの混乱行列を推定して学習プロセスを改善することにより,どのような効果があるかを示す。 我々は、SVMとディープニューラルネットワークを用いて、複数の画像データセット上での戦略の有効性を実証する。
  論文  参考訳（メタデータ） (2020-11-13T09:48:30Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。