論文の概要: Modeling subjectivity (by Mimicking Annotator Annotation) in toxic comment identification across diverse communities

• arxiv url: http://arxiv.org/abs/2311.00203v1
• Date: Wed, 1 Nov 2023 00:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 15:20:21.249748
• Title: Modeling subjectivity (by Mimicking Annotator Annotation) in toxic comment identification across diverse communities
• Title（参考訳）: 多様なコミュニティにおける有毒なコメント識別における主観性(アノテーションアノテーションの模倣)のモデル化
• Authors: Senjuti Dutta (1), Sid Mittal (2), Sherol Chen (2), Deepak Ramachandran (2), Ravi Rajakumar (2), Ian Kivlichan (2), Sunny Mak (2), Alena Butryna (2), Praveen Paritosh (2) ((1) University of Tennessee, Knoxville, (2) Google LLC)
• Abstract要約: 本研究は, 定量的解析を用いて, 注釈の相違点から直感的な相違点を同定することを目的とする。 また、トレーニングデータのサイズによって、毒性に関する様々な視点を模倣するモデルの能力についても評価する。 主観性は全アノテータ群で明らかであり,多数決投票の欠点を実証している。
• 参考スコア（独自算出の注目度）: 3.0284081180864675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The prevalence and impact of toxic discussions online have made content moderation crucial.Automated systems can play a vital role in identifying toxicity, and reducing the reliance on human moderation.Nevertheless, identifying toxic comments for diverse communities continues to present challenges that are addressed in this paper.The two-part goal of this study is to(1)identify intuitive variances from annotator disagreement using quantitative analysis and (2)model the subjectivity of these viewpoints.To achieve our goal, we published a new dataset\footnote{\url{https://github.com/XXX}} with expert annotators' annotations and used two other public datasets to identify the subjectivity of toxicity.Then leveraging the Large Language Model(LLM),we evaluate the model's ability to mimic diverse viewpoints on toxicity by varying size of the training data and utilizing same set of annotators as the test set used during model training and a separate set of annotators as the test set.We conclude that subjectivity is evident across all annotator groups, demonstrating the shortcomings of majority-rule voting. Moving forward, subjective annotations should serve as ground truth labels for training models for domains like toxicity in diverse communities.
• Abstract（参考訳）: The prevalence and impact of toxic discussions online have made content moderation crucial.Automated systems can play a vital role in identifying toxicity, and reducing the reliance on human moderation.Nevertheless, identifying toxic comments for diverse communities continues to present challenges that are addressed in this paper.The two-part goal of this study is to(1)identify intuitive variances from annotator disagreement using quantitative analysis and (2)model the subjectivity of these viewpoints.To achieve our goal, we published a new dataset\footnote{\url{https://github.com/XXX}} with expert annotators' annotations and used two other public datasets to identify the subjectivity of toxicity.Then leveraging the Large Language Model(LLM),we evaluate the model's ability to mimic diverse viewpoints on toxicity by varying size of the training data and utilizing same set of annotators as the test set used during model training and a separate set of annotators as the test set.We conclude that subjectivity is evident across all annotator groups, demonstrating the shortcomings of majority-rule voting. 今後、主観的アノテーションは、様々なコミュニティにおける毒性のようなドメインのトレーニングモデルのための基礎的真理ラベルとして機能するべきである。

関連論文リスト

• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Voices in a Crowd: Searching for Clusters of Unique Perspectives [8.516397617576978]
  提案されたソリューションは、アノテータの不一致をモデル化するか、あるいは共有メタデータに基づいてアノテータをグループ化することによって、少数派の視点を捉えることを目的としている。 本稿では,アノテータのメタデータを符号化せずにモデルを訓練し,アノテータの振る舞いによって通知される潜伏埋め込みを抽出し,類似した意見の集合を生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-19T12:37:15Z)
• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
  本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。 我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。 我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
  論文  参考訳（メタデータ） (2023-03-20T19:32:49Z)
• Towards Reliable Assessments of Demographic Disparities in Multi-Label Image Classifiers [11.973749734226852]
  マルチラベル画像分類と,特に対象分類タスクについて検討する。 測定のための設計選択とトレードオフは、以前のコンピュータビジョン文学で議論されたよりもニュアンスが高い。 実装の詳細にだけ似ているが、評価の結論に大きな影響を及ぼすいくつかの設計選択を特定します。
  論文  参考訳（メタデータ） (2023-02-16T20:34:54Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• Investigating Bias In Automatic Toxic Comment Detection: An Empirical Study [1.5609988622100528]
  オンラインプラットフォームの増加に伴い、これらのプラットフォーム上でのユーザーエンゲージメントは、コメントやリアクションを通じて急増している。 このような文章によるコメントの大部分は、聴衆に対して虐待的で無礼で侮辱的です。 機械学習システムがプラットフォームに現れるコメントをチェックするために、トレーニングデータに存在するバイアスが分類器に渡され、クラス、宗教、性別のセットに対する差別につながる。
  論文  参考訳（メタデータ） (2021-08-14T08:24:13Z)
• Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
  本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。 具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。 大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
  論文  参考訳（メタデータ） (2021-03-07T03:10:32Z)
• ToxCCIn: Toxic Content Classification with Interpretability [16.153683223016973]
  ソーシャルメディア上での攻撃言語や毒性検出などのタスクには説明が重要です。 単純かつ強力な仮定に基づき,トランスモデルの解釈性を改善する手法を提案する。 このアプローチは,ロジスティック回帰分析によって提供されるものの品質を超える説明を生成できる。
  論文  参考訳（メタデータ） (2021-03-01T22:17:10Z)
• User Ex Machina : Simulation as a Design Probe in Human-in-the-Loop Text Analytics [29.552736183006672]
  話題モデルを用いた人間中心インタラクションのシミュレーションに基づく解析を行う。 ユーザインタラクションには大きさが違うが、結果のモデリングの品質に悪影響を及ぼすことがよくあります。
  論文  参考訳（メタデータ） (2021-01-06T19:44:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。