論文の概要: Estimation of the qualification and behavior of a contributor and
aggregation of his answers in a crowdsourcing context
- arxiv url: http://arxiv.org/abs/2303.04548v1
- Date: Wed, 8 Mar 2023 13:01:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 14:15:19.433997
- Title: Estimation of the qualification and behavior of a contributor and
aggregation of his answers in a crowdsourcing context
- Title（参考訳）: クラウドソーシングにおける貢献者の資格と行動の推定と回答の集約
- Authors: Constance Thierry (IRISA-D7, IRISA, DRUID), Arnaud Martin (DRUID),
Jean-Christophe Dubois (DRUID), Yolande Le Gall (DRUID)
- Abstract要約: クラウドソーシングは、専用のプラットフォーム上で多くのコントリビュータにタスクをアウトソーシングするものだ。
これらのプラットフォーム上の群衆は非常に多様化しており、不均一な品質のデータを生成するコントリビュータのさまざまなプロファイルを含んでいる。
提案手法は,コントリビュータのプロファイルを推定し,収集したデータを集約する手法であるMONITORを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Crowdsourcing is the outsourcing of tasks to a crowd of contributors on a
dedicated platform. The crowd on these platforms is very diversified and
includes various profiles of contributors which generates data of uneven
quality. However, majority voting, which is the aggregating method commonly
used in platforms, gives equal weight to each contribution. To overcome this
problem, we propose a method, MONITOR, which estimates the contributor's
profile and aggregates the collected data by taking into account their possible
imperfections thanks to the theory of belief functions. To do so, MONITOR
starts by estimating the profile of the contributor through his qualification
for the task and his behavior.Crowdsourcing campaigns have been carried out to
collect the necessary data to test MONITOR on real data in order to compare it
to existing approaches. The results of the experiments show that thanks to the
use of the MONITOR method, we obtain a better rate of correct answer after
aggregation of the contributions compared to the majority voting. Our
contributions in this article are for the first time the proposal of a model
that takes into account both the qualification of the contributor and his
behavior in the estimation of his profile. For the second one, the weakening
and the aggregation of the answers according to the estimated profiles.
- Abstract（参考訳）: クラウドソーシング(crowdsourcing)とは、専用のプラットフォーム上のコントリビュータの群集にタスクをアウトソーシングすることである。
これらのプラットフォーム上の群衆は非常に多様化しており、不均一な品質のデータを生成するさまざまなコントリビュータのプロファイルを含んでいる。
しかし、プラットフォームで一般的に使用される集約方式である多数決は、各コントリビューションに等しい重みを与える。
そこで本研究では,投稿者のプロファイルを推定し,信条関数の理論による不完全性を考慮し,収集したデータを集約する手法である monitorを提案する。
そのため、MONITORは、作業の資格と行動を通じて、貢献者のプロファイルを推定することから始まり、既存のアプローチと比較するために、実際のデータ上でMONITORをテストするために必要なデータを収集するクラウドソーシングキャンペーンが実施されている。
実験の結果,MONITOR法を用いることで,コントリビューションの集計後の正解率を多数投票よりも向上させることができた。
この記事における我々の貢献は、彼のプロファイルの推定において、貢献者の資格と彼の行動の両方を考慮に入れるモデルの提案を初めて行います。
2つ目は、推定されたプロファイルに従って回答の弱化と集約である。
関連論文リスト
- Mechanisms for Data Sharing in Collaborative Causal Inference (Extended Version) [2.709511652792003]
本稿では,共通学習課題に対する各当事者のデータ貢献度を評価するための評価手法を提案する。
データの品質に応じてエージェントを公平に報酬するために、あるいはすべてのエージェントのデータコントリビューションを最大化するために利用することができる。
論文 参考訳（メタデータ） (2024-07-04T14:32:32Z) - Evaluating and Incentivizing Diverse Data Contributions in Collaborative
Learning [89.21177894013225]
フェデレートされた学習モデルがうまく機能するためには、多様で代表的なデータセットを持つことが不可欠である。
データの多様性を定量化するために用いられる統計的基準と、使用するフェデレート学習アルゴリズムの選択が、結果の平衡に有意な影響を及ぼすことを示す。
我々はこれを活用して、データ収集者がグローバルな人口を代表するデータに貢献することを奨励する、シンプルな最適なフェデレーション学習機構を設計する。
論文 参考訳（メタデータ） (2023-06-08T23:38:25Z) - The Minority Matters: A Diversity-Promoting Collaborative Metric
Learning Algorithm [154.47590401735323]
CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。
本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。
textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-30T08:02:18Z) - Estimating Topic Exposure for Under-Represented Users on Social Media [25.963970325207892]
この研究は、観察されたデータに対する参加者の貢献を強調することに重点を置いている。
これらのユーザの行動分析の最初のステップは、公開されているが関与していないトピックを見つけることです。
本稿では,これらのユーザを特定し,トピックの露出を推定する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-07T19:37:41Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - What Ingredients Make for an Effective Crowdsourcing Protocol for
Difficult NLU Data Collection Tasks? [31.39009622826369]
我々は、データ品質を改善する方法として、先行研究で提案された介入の有効性を比較した。
我々は,NLU例の難易度を高めるための非効率なスタンドアロン戦略として,実例の説明書を書くよう労働者に求めていることを見出した。
専門家評価を伴う反復的プロトコルからのデータは、いくつかの尺度によりより困難であることが観察された。
論文 参考訳（メタデータ） (2021-06-01T21:05:52Z) - Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。
複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
論文 参考訳（メタデータ） (2020-10-21T13:43:48Z) - MS-Ranker: Accumulating Evidence from Potentially Correct Candidates for
Answer Selection [59.95429407899612]
そこで我々は,MS-Ranker という,新しい強化学習に基づくマルチステップランキングモデルを提案する。
我々は、候補の潜在的な正しさを明示的に考慮し、ゲーティング機構で証拠を更新する。
我々のモデルは、外部リソースに依存しない既存の手法を著しく上回ります。
論文 参考訳（メタデータ） (2020-10-10T10:36:58Z) - Modelisation de l'incertitude et de l'imprecision de donnees de
crowdsourcing : MONITOR [0.0]
クラウドソーシングは、多くのコントリビュータへのタスクのアウトソーシングである。
これらの貢献者を特定することは、彼らの反応を考えるのを避けるために不可欠である。
本稿では,コントリビュータのプロファイルを推定するMONITORを提案する。
論文 参考訳（メタデータ） (2020-02-26T14:58:11Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳（メタデータ） (2020-02-18T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。