論文の概要: A Taxonomy of Rater Disagreements: Surveying Challenges & Opportunities
from the Perspective of Annotating Online Toxicity
- arxiv url: http://arxiv.org/abs/2311.04345v1
- Date: Tue, 7 Nov 2023 21:00:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 17:42:07.563506
- Title: A Taxonomy of Rater Disagreements: Surveying Challenges & Opportunities
from the Perspective of Annotating Online Toxicity
- Title（参考訳）: 宝くじの分類 : オンライン毒性のアノテーションの観点からの課題と機会の探索
- Authors: Wenbo Zhang, Hangzhi Guo, Ian D Kivlichan, Vinodkumar Prabhakaran,
Davis Yadav, Amulya Yadav
- Abstract要約: Toxicityは、オンライン空間でますます一般的で深刻な問題になっている。
機械学習の研究の豊富な行は、オンライン毒性を計算的に検出し緩和することに焦点を当てている。
近年の研究では,本課題の主観的性質を考慮した会計の重要性が指摘されている。
- 参考スコア（独自算出の注目度）: 15.23055494327071
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Toxicity is an increasingly common and severe issue in online spaces.
Consequently, a rich line of machine learning research over the past decade has
focused on computationally detecting and mitigating online toxicity. These
efforts crucially rely on human-annotated datasets that identify toxic content
of various kinds in social media texts. However, such annotations historically
yield low inter-rater agreement, which was often dealt with by taking the
majority vote or other such approaches to arrive at a single ground truth
label. Recent research has pointed out the importance of accounting for the
subjective nature of this task when building and utilizing these datasets, and
this has triggered work on analyzing and better understanding rater
disagreements, and how they could be effectively incorporated into the machine
learning developmental pipeline. While these efforts are filling an important
gap, there is a lack of a broader framework about the root causes of rater
disagreement, and therefore, we situate this work within that broader
landscape. In this survey paper, we analyze a broad set of literature on the
reasons behind rater disagreements focusing on online toxicity, and propose a
detailed taxonomy for the same. Further, we summarize and discuss the potential
solutions targeting each reason for disagreement. We also discuss several open
issues, which could promote the future development of online toxicity research.
- Abstract（参考訳）: Toxicityは、オンライン空間でますます一般的で深刻な問題になっている。
その結果、過去10年間の機械学習研究の豊富な行は、オンライン毒性を計算的に検出し緩和することに集中してきた。
これらの取り組みは、ソーシャルメディアのテキストで様々な種類の有害なコンテンツを識別する、人間の注釈付きデータセットに依存している。
しかし、歴史的にそのような注釈は、多数決やその他のアプローチで単一根拠の真理ラベルに到達することで取り扱われる、レータ間合意の低いものとなった。
近年の研究では、これらのデータセットの構築と活用において、この課題の主観的性質を考慮に入れることが重要であることが指摘されており、このことが、raterの不一致を分析し、理解を深める作業の引き金となり、それらが機械学習開発パイプラインに効果的に組み込まれる可能性がある。
これらの取り組みは重要なギャップを満たしている一方で、raterの不一致の根本原因に関する広範な枠組みが欠如しているため、この作業はより広い視野内で行われることになる。
本稿では,オンライン毒性に着目したraterの不一致の原因に関する幅広い文献を分析し,それに対する詳細な分類法を提案する。
さらに、各理由を対象とする潜在的な解決策を要約し、議論する。
また、オンライン毒性研究の今後の発展を促進するいくつかのオープンな課題についても論じる。
関連論文リスト
- The Odyssey of Commonsense Causality: From Foundational Benchmarks to Cutting-Edge Reasoning [70.16523526957162]
常識の因果関係を理解することは、人々が現実世界の原理をよりよく理解するのに役立ちます。
その重要性にもかかわらず、このトピックの体系的な探索は特に欠落している。
本研究の目的は、体系的な概要の提供、最近の進歩に関する学者の更新、初心者のための実践的なガイドを提供することである。
論文 参考訳（メタデータ） (2024-06-27T16:30:50Z) - A comprehensive cross-language framework for harmful content detection
with the aid of sentiment analysis [0.356008609689971]
この研究は、初めて、どんな言語にも適応可能な詳細なフレームワークを紹介します。
フレームワークの重要なコンポーネントは、汎用的で詳細なアノテーションガイドラインの開発である。
感情分析の統合は、有害な言語検出を強化する新しいアプローチである。
論文 参考訳（メタデータ） (2024-03-02T17:13:47Z) - Recent Advances in Hate Speech Moderation: Multimodality and the Role of Large Models [52.24001776263608]
この包括的調査は、HSモデレーションの最近の歩みを掘り下げている。
大型言語モデル(LLM)と大規模マルチモーダルモデル(LMM)の急成長する役割を強調した。
研究における既存のギャップを、特に表現不足言語や文化の文脈で特定する。
論文 参考訳（メタデータ） (2024-01-30T03:51:44Z) - Modeling subjectivity (by Mimicking Annotator Annotation) in toxic
comment identification across diverse communities [3.0284081180864675]
本研究は, 定量的解析を用いて, 注釈の相違点から直感的な相違点を同定することを目的とする。
また、トレーニングデータのサイズによって、毒性に関する様々な視点を模倣するモデルの能力についても評価する。
主観性は全アノテータ群で明らかであり,多数決投票の欠点を実証している。
論文 参考訳（メタデータ） (2023-11-01T00:17:11Z) - Fairness meets Cross-Domain Learning: a new perspective on Models and
Metrics [80.07271410743806]
クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。
いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。
本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
論文 参考訳（メタデータ） (2023-03-25T09:34:05Z) - Aggression and "hate speech" in communication of media users: analysis
of control capabilities [50.591267188664666]
著者らは新メディアにおける利用者の相互影響の可能性を検討した。
新型コロナウイルス(COVID-19)対策として、緊急の社会問題について議論する際、攻撃やヘイトスピーチのレベルが高いことが分かった。
結果は、現代のデジタル環境におけるメディアコンテンツの開発に有用である。
論文 参考訳（メタデータ） (2022-08-25T15:53:32Z) - Causal Reasoning Meets Visual Representation Learning: A Prospective
Study [117.08431221482638]
解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。
人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。
本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
論文 参考訳（メタデータ） (2022-04-26T02:22:28Z) - Healthy Twitter discussions? Time will tell [0.0]
議論の健全性を示す指標として,時間的動的パターンの利用を検討する。
まず、教師なしの方法で議論のタイプを探求し、その後、短命の概念を用いてこれらのタイプを特徴づける。
最後に、オンライン談話のラベル付けにおける短命の定義の可能性について、それがいかに望ましいか、健全で建設的かに基づいて論じる。
論文 参考訳（メタデータ） (2022-03-21T18:43:40Z) - Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and
Benchmarks [95.29345070102045]
本稿では,ダイアログの安全性問題に対する社会的バイアス検出に焦点をあてる。
まず,会話における社会的バイアスを現実的に分析する新しいダイアルバイアスフレームを提案する。
中国初の社会バイアスダイアログデータセットであるCDail-Biasデータセットを紹介する。
論文 参考訳（メタデータ） (2022-02-16T11:59:29Z) - Handling Bias in Toxic Speech Detection: A Survey [26.176340438312376]
本稿では,有毒な音声検出におけるバイアスの評価と緩和手法について検討する。
ケーススタディでは、知識に基づくバイアス緩和によるバイアスシフトの概念を紹介している。
調査は、重要な課題、研究のギャップ、今後の方向性の概要で締めくくっている。
論文 参考訳（メタデータ） (2022-01-26T10:38:36Z) - Text and Causal Inference: A Review of Using Text to Remove Confounding
from Causal Estimates [15.69581581445705]
ソーシャルメディア投稿の個人の歴史全体やニュース記事の内容は、共同創設者の豊富な測定を提供する可能性がある。
テキストによるコンファウンディングの調整に注目が集まる一方で、未解決の問題も多い。
論文 参考訳（メタデータ） (2020-05-01T23:20:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。