論文の概要: Full Characterization of Adaptively Strong Majority Voting in
Crowdsourcing
- arxiv url: http://arxiv.org/abs/2111.06390v2
- Date: Thu, 20 Jul 2023 16:45:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 19:16:10.081457
- Title: Full Characterization of Adaptively Strong Majority Voting in
Crowdsourcing
- Title（参考訳）: クラウドソーシングにおける適応的多数決の完全性
- Authors: Margarita Boyarskaya and Panos Ipeirotis
- Abstract要約: クラウドソーシングでは、労働者がアイテムを調べ、その正確性に投票することで、品質管理が一般的に達成される。
信頼できないワーカー応答の影響を最小限に抑えるため、$delta$-marginの投票プロセスが使用される。
本研究は,マルコフ連鎖を吸収し,この投票プロセスの特性をモデル化する手法を提案する。
- 参考スコア（独自算出の注目度）: 1.4213973379473654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In crowdsourcing, quality control is commonly achieved by having workers
examine items and vote on their correctness. To minimize the impact of
unreliable worker responses, a $\delta$-margin voting process is utilized,
where additional votes are solicited until a predetermined threshold $\delta$
for agreement between workers is exceeded. The process is widely adopted but
only as a heuristic. Our research presents a modeling approach using absorbing
Markov chains to analyze the characteristics of this voting process that matter
in crowdsourced processes. We provide closed-form equations for the quality of
resulting consensus vote, the expected number of votes required for consensus,
the variance of vote requirements, and other distribution moments. Our findings
demonstrate how the threshold $\delta$ can be adjusted to achieve quality
equivalence across voting processes that employ workers with varying accuracy
levels. We also provide efficiency-equalizing payment rates for voting
processes with different expected response accuracy levels. Additionally, our
model considers items with varying degrees of difficulty and uncertainty about
the difficulty of each example. Our simulations, using real-world crowdsourced
vote data, validate the effectiveness of our theoretical model in
characterizing the consensus aggregation process. The results of our study can
be effectively employed in practical crowdsourcing applications.
- Abstract（参考訳）: クラウドソーシングでは、労働者がアイテムを調べ、その正確性に投票することで、品質管理が一般的に達成される。
信頼できない労働者の反応の影響を最小限に抑えるために、労働者間の合意のための所定の閾値である$\delta$を超過するまで追加の投票を依頼する$\delta$-margin投票プロセスを利用する。
このプロセスは広く採用されているが、ヒューリスティックである。
本研究では,マルコフ鎖を吸収して,クラウドソーシングプロセスにおいて重要な投票過程の特性を分析するモデリング手法を提案する。
我々は、結果のコンセンサス投票の品質、コンセンサスに必要な投票数、投票要求の分散、その他の分配モーメントに関するクローズドフォーム方程式を提供する。
本研究は,精度の異なる労働者を雇用する投票プロセスにおける品質等価性を達成するために,$\delta$のしきい値をどのように調整できるかを示す。
また、予測応答精度の異なる投票プロセスに対して、効率等級の支払い率を提供する。
さらに,本モデルでは,各例の難易度や難易度が異なる項目について考察する。
実世界のクラウドソーシング投票データを用いたシミュレーションは,コンセンサス集約過程を特徴付ける理論モデルの有効性を検証する。
本研究の成果は,クラウドソーシングの実用化に効果的に活用できる。
関連論文リスト
- Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。
手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。
本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
論文 参考訳（メタデータ） (2024-04-10T07:34:37Z) - Employing Universal Voting Schemes for Improved Visual Place Recognition Performance [16.242139178368923]
本稿では,VPRアンサンブルの設定した位置検出精度を最大化する投票方式について分析する。
我々は政治や社会学などの分野で広く採用されている様々な投票方式から着想を得ている。
論文 参考訳（メタデータ） (2024-03-08T14:19:14Z) - The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。
我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。
新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
論文 参考訳（メタデータ） (2024-02-09T16:23:54Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳（メタデータ） (2023-10-18T10:32:39Z) - Fair Classifiers that Abstain without Harm [24.90899074869189]
批判的な応用においては、分類器は人間に意思決定を延期することが不可欠である。
本稿では,既存の分類器が特定のサンプルの予測を選択的に禁ずるポストホック法を提案する。
この枠組みは,同程度の禁制率で精度を犠牲にすることなく,公平性の違いの観点から既存手法より優れる。
論文 参考訳（メタデータ） (2023-10-09T23:07:28Z) - Fairly Allocating Utility in Constrained Multiwinner Elections [0.0]
このような文脈にまたがる公平性を保証する一般的な分母は、制約の使用である。
これらの状況の中で、与えられた制約を満たすために選ばれた候補者は、歴史的に不利な有権者の集団に対して、体系的に不公平な結果をもたらす可能性がある。
投票者間の制約を公平に満たす候補を選択するモデルを構築した。
論文 参考訳（メタデータ） (2022-11-23T10:04:26Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳（メタデータ） (2022-08-05T14:47:22Z) - Fairness in Selection Problems with Strategic Candidates [9.4148805532663]
選択問題における戦略的側面が公平性に与える影響について検討する。
合理的な候補者の人口は、彼らの品質を高めるために努力レベルを選択することで競います。
我々は、異なるパラメータのレジームにおけるこのゲームの(一意)平衡を特徴づける。
論文 参考訳（メタデータ） (2022-05-24T17:03:32Z) - Using Sampling to Estimate and Improve Performance of Automated Scoring
Systems with Guarantees [63.62448343531963]
本稿では,既存のパラダイムを組み合わせることで,人間が知能的に収集する応答をサンプリングする手法を提案する。
比較的少ない予算で精度(平均19.80%)と二次重み付きカッパ(平均25.60%)の顕著な増加を観察した。
論文 参考訳（メタデータ） (2021-11-17T05:00:51Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z) - Modeling Voters in Multi-Winner Approval Voting [24.002910959494923]
我々は,不確実性の度合いの異なる単入投票と多入投票の投票行動について検討した。
概して、人々はより良い結果を得るために投票を操作しているが、しばしば最適な操作を特定できない。
本稿では,勝利集合の大きさと人間の認知的制約を考慮に入れた新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-12-04T19:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。