論文の概要: Full Characterization of Adaptively Strong Majority Voting in Crowdsourcing
- arxiv url: http://arxiv.org/abs/2111.06390v3
- Date: Thu, 25 Apr 2024 18:31:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 18:47:13.504804
- Title: Full Characterization of Adaptively Strong Majority Voting in Crowdsourcing
- Title（参考訳）: クラウドソーシングにおける適応的強い多数決投票の完全評価
- Authors: Margarita Boyarskaya, Panos Ipeirotis,
- Abstract要約: クラウドソーシングでは、労働者がアイテムを調べ、その正確性に投票することで、品質管理が一般的に達成される。
信頼できないワーカー応答の影響を最小限に抑えるため、$delta$-marginの投票プロセスが使用される。
本研究は,マルコフ連鎖を吸収し,この投票プロセスの特性をモデル化する手法を提案する。
- 参考スコア（独自算出の注目度）: 0.5831737970661138
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In crowdsourcing, quality control is commonly achieved by having workers examine items and vote on their correctness. To minimize the impact of unreliable worker responses, a $\delta$-margin voting process is utilized, where additional votes are solicited until a predetermined threshold $\delta$ for agreement between workers is exceeded. The process is widely adopted but only as a heuristic. Our research presents a modeling approach using absorbing Markov chains to analyze the characteristics of this voting process that matter in crowdsourced processes. We provide closed-form equations for the quality of resulting consensus vote, the expected number of votes required for consensus, the variance of vote requirements, and other distribution moments. Our findings demonstrate how the threshold $\delta$ can be adjusted to achieve quality equivalence across voting processes that employ workers with varying accuracy levels. We also provide efficiency-equalizing payment rates for voting processes with different expected response accuracy levels. Additionally, our model considers items with varying degrees of difficulty and uncertainty about the difficulty of each example. Our simulations, using real-world crowdsourced vote data, validate the effectiveness of our theoretical model in characterizing the consensus aggregation process. The results of our study can be effectively employed in practical crowdsourcing applications.
- Abstract（参考訳）: クラウドソーシングでは、労働者がアイテムを調べ、その正確性に投票することで、品質管理が一般的に達成される。
信頼できない労働者の反応の影響を最小限に抑えるために、$\delta$-marginの投票プロセスを使用し、労働者間の合意のために所定の閾値$\delta$が成立するまで追加の投票を行う。
このプロセスは広く採用されているが、ヒューリスティックとしてのみ採用されている。
本研究は, クラウドソーシングプロセスにおいて重要な投票プロセスの特徴を分析するために, 吸収型マルコフ連鎖を用いたモデリング手法を提案する。
我々は、結果のコンセンサス投票の質、コンセンサスに必要な投票数、投票要求の分散、その他の分配モーメントについて、クローズドフォームの方程式を提供する。
以上の結果から, 精度の異なる労働者を雇用する投票プロセスにおいて, 品質等価性を達成するために, しきい値$\delta$を調整できることが示唆された。
また、予測応答精度の異なる投票プロセスに対して、効率等級の支払い率も提供します。
さらに,本モデルでは,各例の難易度や難易度が異なる項目について考察する。
実世界のクラウドソースによる投票データを用いたシミュレーションでは,コンセンサス集約プロセスの特徴付けにおける理論モデルの有効性が検証された。
本研究の結果は,クラウドソーシングの実用化に有効である。
関連論文リスト
- Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。
手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。
本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
論文 参考訳（メタデータ） (2024-04-10T07:34:37Z) - Employing Universal Voting Schemes for Improved Visual Place Recognition Performance [16.242139178368923]
本稿では,VPRアンサンブルの設定した位置検出精度を最大化する投票方式について分析する。
我々は政治や社会学などの分野で広く採用されている様々な投票方式から着想を得ている。
論文 参考訳（メタデータ） (2024-03-08T14:19:14Z) - The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。
我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。
新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
論文 参考訳（メタデータ） (2024-02-09T16:23:54Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳（メタデータ） (2023-10-18T10:32:39Z) - Fair Classifiers that Abstain without Harm [24.90899074869189]
批判的な応用においては、分類器は人間に意思決定を延期することが不可欠である。
本稿では,既存の分類器が特定のサンプルの予測を選択的に禁ずるポストホック法を提案する。
この枠組みは,同程度の禁制率で精度を犠牲にすることなく,公平性の違いの観点から既存手法より優れる。
論文 参考訳（メタデータ） (2023-10-09T23:07:28Z) - Fairly Allocating Utility in Constrained Multiwinner Elections [0.0]
このような文脈にまたがる公平性を保証する一般的な分母は、制約の使用である。
これらの状況の中で、与えられた制約を満たすために選ばれた候補者は、歴史的に不利な有権者の集団に対して、体系的に不公平な結果をもたらす可能性がある。
投票者間の制約を公平に満たす候補を選択するモデルを構築した。
論文 参考訳（メタデータ） (2022-11-23T10:04:26Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳（メタデータ） (2022-08-05T14:47:22Z) - Fairness in Selection Problems with Strategic Candidates [9.4148805532663]
選択問題における戦略的側面が公平性に与える影響について検討する。
合理的な候補者の人口は、彼らの品質を高めるために努力レベルを選択することで競います。
我々は、異なるパラメータのレジームにおけるこのゲームの(一意)平衡を特徴づける。
論文 参考訳（メタデータ） (2022-05-24T17:03:32Z) - Using Sampling to Estimate and Improve Performance of Automated Scoring
Systems with Guarantees [63.62448343531963]
本稿では,既存のパラダイムを組み合わせることで,人間が知能的に収集する応答をサンプリングする手法を提案する。
比較的少ない予算で精度(平均19.80%)と二次重み付きカッパ(平均25.60%)の顕著な増加を観察した。
論文 参考訳（メタデータ） (2021-11-17T05:00:51Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z) - Modeling Voters in Multi-Winner Approval Voting [24.002910959494923]
我々は,不確実性の度合いの異なる単入投票と多入投票の投票行動について検討した。
概して、人々はより良い結果を得るために投票を操作しているが、しばしば最適な操作を特定できない。
本稿では,勝利集合の大きさと人間の認知的制約を考慮に入れた新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-12-04T19:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。