論文の概要: Reducing annotator bias by belief elicitation

• arxiv url: http://arxiv.org/abs/2410.15726v1
• Date: Mon, 21 Oct 2024 07:44:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:23.718236
• Title: Reducing annotator bias by belief elicitation
• Title（参考訳）: 信念推論によるアノテータバイアスの低減
• Authors: Terne Sasha Thorn Jakobsen, Andreas Bjerre-Nielsen, Robert Böhm,
• Abstract要約: アノテーションやインスタンスの数を必要とせずに、アノテーションのバイアスを処理するための簡単な方法を提案する。 我々は、アノテータが他のアノテータのインスタンスに対する判断に対する信念について、これらの信念が判断よりもより代表的なラベルを提供するかもしれないという仮説の下で尋ねる。 その結果、アノテータの2つのグループ間の体系的な差異として定義されるバイアスは、判断の代わりに信念を求める際に一貫して減少することが示された。
• 参考スコア（独自算出の注目度）: 3.0040661953201475
• License:
• Abstract: Crowdsourced annotations of data play a substantial role in the development of Artificial Intelligence (AI). It is broadly recognised that annotations of text data can contain annotator bias, where systematic disagreement in annotations can be traced back to differences in the annotators' backgrounds. Being unaware of such annotator bias can lead to representational bias against minority group perspectives and therefore several methods have been proposed for recognising bias or preserving perspectives. These methods typically require either a substantial number of annotators or annotations per data instance. In this study, we propose a simple method for handling bias in annotations without requirements on the number of annotators or instances. Instead, we ask annotators about their beliefs of other annotators' judgements of an instance, under the hypothesis that these beliefs may provide more representative and less biased labels than judgements. The method was examined in two controlled, survey-based experiments involving Democrats and Republicans (n=1,590) asked to judge statements as arguments and then report beliefs about others' judgements. The results indicate that bias, defined as systematic differences between the two groups of annotators, is consistently reduced when asking for beliefs instead of judgements. Our proposed method therefore has the potential to reduce the risk of annotator bias, thereby improving the generalisability of AI systems and preventing harm to unrepresented socio-demographic groups, and we highlight the need for further studies of this potential in other tasks and downstream applications.
• Abstract（参考訳）: クラウドソーシングされたデータアノテーションは、人工知能(AI)の開発において重要な役割を果たす。 テキストデータのアノテーションにはアノテータバイアスが含まれており、アノテーションの体系的な不一致はアノテータの背景の違いに遡ることができると広く認識されている。 このようなアノテータバイアスに気づいていないと、少数群の視点に対する表現バイアスにつながる可能性があるため、バイアスを認識したり、あるいは保存する視点を認識するためのいくつかの方法が提案されている。 これらのメソッドは典型的には、データインスタンスあたりの相当数のアノテーションまたはアノテーションを必要とする。 本研究ではアノテータやインスタンスの数を必要とせず,アノテーションのバイアスを扱うための簡単な手法を提案する。 その代わりに、アノテータに、他のアノテータのインスタンスに対する判断に対する信念について尋ねる。 この方法は、民主党員と共和党員(n=1,590)による2つの統制された調査に基づく実験で検証され、ステートメントを議論として判断し、他人の判断に関する信念を報告するよう求められた。 その結果、アノテータの2つのグループ間の体系的な差異として定義されるバイアスは、判断の代わりに信念を求める際に一貫して減少することが示された。 提案手法は,アノテータバイアスのリスクを低減し,AIシステムの汎用性を向上し,表現されていない社会デミノグラフィーグループへの害を防止し,他のタスクや下流アプリケーションにおいて,この可能性のさらなる研究の必要性を強調した。

関連論文リスト

• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Power of Explanations: Towards automatic debiasing in hate speech detection [19.26084350822197]
  ヘイトスピーチ検出は、自然言語処理(NLP)の現実世界における一般的なダウンストリームアプリケーションである。 本稿では,潜在的なバイアスを検出するための説明手法を頼りに,自動誤用検知(MiD)を提案する。
  論文  参考訳（メタデータ） (2022-09-07T14:14:03Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• More Data Can Lead Us Astray: Active Data Acquisition in the Presence of Label Bias [7.506786114760462]
  提案されたバイアス緩和戦略は、一般的に観察されたラベルに示されるバイアスを見落としている。 まず,教師あり学習システムのコンテキストにおけるラベルバイアスについて概説する。 次に、ラベルバイアスを見渡すと、より多くのデータを集めることでバイアスが増大し、データ収集プロセスで観測されたラベルに依存する公正な制約が問題に対処できないことを実証的に示します。
  論文  参考訳（メタデータ） (2022-07-15T19:30:50Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Uncovering Latent Biases in Text: Method and Application to Peer Review [38.726731935235584]
  本稿では,サブグループメンバーシップ指標の可視性に起因するテキストのバイアスを定量化する新しいフレームワークを提案する。 評価された機械学習会議からのピアレビューのテキストにおけるバイアスの定量化に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2020-10-29T01:24:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。