論文の概要: Mitigating Cognitive Biases in Multi-Criteria Crowd Assessment

• arxiv url: http://arxiv.org/abs/2407.18938v1
• Date: Wed, 10 Jul 2024 16:00:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 01:16:12.983465
• Title: Mitigating Cognitive Biases in Multi-Criteria Crowd Assessment
• Title（参考訳）: 多段階集団評価における認知バイアスの緩和
• Authors: Shun Ito, Hisashi Kashima,
• Abstract要約: クラウドソーシングにおけるマルチ基準アセスメントに関連する認知バイアスに着目した。 複数の異なる基準で目標を同時に評価するクラウドワーカーは、いくつかの基準の優位性や評価対象の世界的な印象による偏りのある応答を提供することができる。 評価基準間の関係を考慮に入れたベイズ意見集約モデルのための2つの具体的なモデル構造を提案する。
• 参考スコア（独自算出の注目度）: 22.540544209683592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Crowdsourcing is an easy, cheap, and fast way to perform large scale quality assessment; however, human judgments are often influenced by cognitive biases, which lowers their credibility. In this study, we focus on cognitive biases associated with a multi-criteria assessment in crowdsourcing; crowdworkers who rate targets with multiple different criteria simultaneously may provide biased responses due to prominence of some criteria or global impressions of the evaluation targets. To identify and mitigate such biases, we first create evaluation datasets using crowdsourcing and investigate the effect of inter-criteria cognitive biases on crowdworker responses. Then, we propose two specific model structures for Bayesian opinion aggregation models that consider inter-criteria relations. Our experiments show that incorporating our proposed structures into the aggregation model is effective to reduce the cognitive biases and help obtain more accurate aggregation results.
• Abstract（参考訳）: クラウドソーシングは、大規模な品質評価を行うための簡単で安価で高速な方法であるが、人間の判断は認知バイアスの影響を受けやすいため、信頼性は低下する。 本研究では,クラウドソーシングにおけるマルチ基準評価に関連する認知バイアスに着目し,複数の異なる基準で目標を同時に評価するクラウドワーカーは,いくつかの基準の優位性や評価対象のグローバルな印象による偏りのある応答を提供する可能性がある。 このようなバイアスを識別・緩和するために、まずクラウドソーシングを用いて評価データセットを作成し、基準間認知バイアスがクラウドワーカーの反応に与える影響を調査する。 そこで本稿では,評価基準間の関係を考慮に入れたベイズ意見集約モデルの2つの具体的なモデル構造を提案する。 実験の結果,提案した構造を集約モデルに組み込むことで認知バイアスを低減し,より正確な集計結果が得られることがわかった。

関連論文リスト

• Covert Bias: The Severity of Social Views' Unalignment in Language Models Towards Implicit and Explicit Opinion [0.40964539027092917]
  過度なバイアスシナリオのエッジケースにおけるバイアスモデルを用いて、ビューに対するバイアスの重症度を評価する。 以上の結果から,暗黙的・明示的な意見の識別において,LLM 性能の相違が明らかとなり,反対意見の明示的な意見に対する偏見の傾向が一般的であった。 非整合モデルの直接的な不注意な反応は、決定性のさらなる洗練の必要性を示唆している。
  論文  参考訳（メタデータ） (2024-08-15T15:23:00Z)
• (De)Noise: Moderating the Inconsistency Between Human Decision-Makers [15.291993233528526]
  本研究では, アルゴリズムによる意思決定支援が, 不動産評価の文脈における人間の意思決定の不整合度を緩和するのに有効かどうかを検討する。 i) アルゴリズムによって選択されたペアワイド比較において, 回答者に見積をレビューするよう求めることと, (ii) 従来の機械的アドバイスを回答者に提供することは, 人間の反応に影響を与える効果的な方法であることがわかった。
  論文  参考訳（メタデータ） (2024-07-15T20:24:36Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• Deep Causal Reasoning for Recommendations [47.83224399498504]
  推薦システム研究の新たなトレンドは、共同創設者の影響を因果的観点から否定することである。 提案手法は多因性マルチアウトカム(MCMO)推論問題としてモデル化する。 MCMOモデリングは,高次元因果空間に付随する観測が不十分なため,高いばらつきをもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2022-01-06T15:00:01Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Unbiased Pairwise Learning to Rank in Recommender Systems [4.058828240864671]
  アルゴリズムをランク付けする偏見のない学習は、候補をアピールし、既に単一の分類ラベルを持つ多くのアプリケーションに適用されている。 本稿では,この課題に対処するための新しい非バイアス付きLTRアルゴリズムを提案する。 パブリックベンチマークデータセットと内部ライブトラフィックを用いた実験結果から,分類ラベルと連続ラベルのいずれにおいても提案手法の優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-11-25T06:04:59Z)
• Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach [131.20444904674494]
  センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。 定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:46Z)
• Studying the Effects of Cognitive Biases in Evaluation of Conversational Agents [10.248512149493443]
  我々は,77人のクラウドソース労働者を対象に,人間に会話エージェントのアウトプットを評価するよう依頼されたとき,認知バイアスの役割,特に偏見を抑えるための調査を行った。 2つの実験条件における評価の整合性の向上は、バイアスのアンカーの結果である可能性がある。
  論文  参考訳（メタデータ） (2020-02-18T23:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。