論文の概要: Full Characterization of Adaptively Strong Majority Voting in
Crowdsourcing
- arxiv url: http://arxiv.org/abs/2111.06390v1
- Date: Thu, 11 Nov 2021 18:58:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-12 15:26:22.663126
- Title: Full Characterization of Adaptively Strong Majority Voting in
Crowdsourcing
- Title（参考訳）: クラウドソーシングにおける適応的多数決の完全性
- Authors: Margarita Boyarskaya and Panos Ipeirotis
- Abstract要約: 吸収マルコフ連鎖を用いたデルタマージン投票のコンセンサス集約プロセスのモデル化について述べる。
本理論モデルでは, コンセンサス集約プロセスの結果が良好に特徴づけられることを示す。
- 参考スコア（独自算出の注目度）: 1.8782750537161614
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A commonly used technique for quality control in crowdsourcing is to task the
workers with examining an item and voting on whether the item is labeled
correctly. To counteract possible noise in worker responses, one solution is to
keep soliciting votes from more workers until the difference between the
numbers of votes for the two possible outcomes exceeds a pre-specified
threshold {\delta}. We show a way to model such {\delta}-margin voting
consensus aggregation process using absorbing Markov chains. We provide
closed-form equations for the key properties of this voting process -- namely,
for the quality of the results, the expected number of votes to completion, the
variance of the required number of votes, and other moments of the
distribution. Using these results, we show further that one can adapt the value
of the threshold {\delta} to achieve quality-equivalence across voting
processes that employ workers of different accuracy levels. We then use this
result to provide efficiency-equalizing payment rates for groups of workers
characterized by different levels of response accuracy. Finally, we perform a
set of simulated experiments using both fully synthetic data as well as
real-life crowdsourced votes. We show that our theoretical model characterizes
the outcomes of the consensus aggregation process well.
- Abstract（参考訳）: クラウドソーシングにおける品質管理の一般的なテクニックは、アイテムを検査し、アイテムが正しくラベル付けされているかどうかを投票する作業を行なうことである。
労働者の反応の可能なノイズに対処するため、1つの解決策は、2つの可能な結果の投票数の違いが予め特定された閾値を超えるまで、より多くの労働者から投票を要求することである。
マルコフ連鎖を吸収する手法を用いて,このような投票結果の収集過程をモデル化する方法を示す。
この投票過程の重要な特性、すなわち、結果の品質、完成への期待投票数、必要な投票数のばらつき、その他の分布のモーメントについて、閉形式方程式を提供する。
これらの結果を用いて、精度の異なる労働者を選別する投票プロセスにおける品質等価性を達成するために、しきい値の値に適応できることを示す。
次に、この結果を用いて、異なるレベルの応答精度で特徴付けられる労働者のグループに対する効率等化の支払い率を提供する。
最後に、全合成データと実生活におけるクラウドソース投票の両方を用いてシミュレーション実験を行う。
本理論モデルでは, コンセンサス集約プロセスの結果が良好に特徴づけられることを示す。
関連論文リスト
- Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。
手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。
本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
論文 参考訳（メタデータ） (2024-04-10T07:34:37Z) - Employing Universal Voting Schemes for Improved Visual Place Recognition Performance [16.242139178368923]
本稿では,VPRアンサンブルの設定した位置検出精度を最大化する投票方式について分析する。
我々は政治や社会学などの分野で広く採用されている様々な投票方式から着想を得ている。
論文 参考訳（メタデータ） (2024-03-08T14:19:14Z) - The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。
我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。
新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
論文 参考訳（メタデータ） (2024-02-09T16:23:54Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳（メタデータ） (2023-10-18T10:32:39Z) - Fair Classifiers that Abstain without Harm [24.90899074869189]
批判的な応用においては、分類器は人間に意思決定を延期することが不可欠である。
本稿では,既存の分類器が特定のサンプルの予測を選択的に禁ずるポストホック法を提案する。
この枠組みは,同程度の禁制率で精度を犠牲にすることなく,公平性の違いの観点から既存手法より優れる。
論文 参考訳（メタデータ） (2023-10-09T23:07:28Z) - Fairly Allocating Utility in Constrained Multiwinner Elections [0.0]
このような文脈にまたがる公平性を保証する一般的な分母は、制約の使用である。
これらの状況の中で、与えられた制約を満たすために選ばれた候補者は、歴史的に不利な有権者の集団に対して、体系的に不公平な結果をもたらす可能性がある。
投票者間の制約を公平に満たす候補を選択するモデルを構築した。
論文 参考訳（メタデータ） (2022-11-23T10:04:26Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳（メタデータ） (2022-08-05T14:47:22Z) - Fairness in Selection Problems with Strategic Candidates [9.4148805532663]
選択問題における戦略的側面が公平性に与える影響について検討する。
合理的な候補者の人口は、彼らの品質を高めるために努力レベルを選択することで競います。
我々は、異なるパラメータのレジームにおけるこのゲームの(一意)平衡を特徴づける。
論文 参考訳（メタデータ） (2022-05-24T17:03:32Z) - Using Sampling to Estimate and Improve Performance of Automated Scoring
Systems with Guarantees [63.62448343531963]
本稿では,既存のパラダイムを組み合わせることで,人間が知能的に収集する応答をサンプリングする手法を提案する。
比較的少ない予算で精度(平均19.80%)と二次重み付きカッパ(平均25.60%)の顕著な増加を観察した。
論文 参考訳（メタデータ） (2021-11-17T05:00:51Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z) - Modeling Voters in Multi-Winner Approval Voting [24.002910959494923]
我々は,不確実性の度合いの異なる単入投票と多入投票の投票行動について検討した。
概して、人々はより良い結果を得るために投票を操作しているが、しばしば最適な操作を特定できない。
本稿では,勝利集合の大きさと人間の認知的制約を考慮に入れた新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-12-04T19:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。