論文の概要: Examining Temporal Bias in Abusive Language Detection

• arxiv url: http://arxiv.org/abs/2309.14146v1
• Date: Mon, 25 Sep 2023 13:59:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 15:19:06.977265
• Title: Examining Temporal Bias in Abusive Language Detection
• Title（参考訳）: 乱用言語検出における時間バイアスの検討
• Authors: Mali Jin, Yida Mu, Diana Maynard, Kalina Bontcheva
• Abstract要約: 乱用言語を自動的に検出する機械学習モデルが開発されている。 これらのモデルは、時間とともに話題、言語の使用、社会的規範が変化する現象である時間的偏見に悩まされる。 本研究では,多言語にわたる虐待的言語検出における時間的バイアスの性質と影響について検討した。
• 参考スコア（独自算出の注目度）: 3.465144840147315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of abusive language online has become an increasingly pervasive problem that damages both individuals and society, with effects ranging from psychological harm right through to escalation to real-life violence and even death. Machine learning models have been developed to automatically detect abusive language, but these models can suffer from temporal bias, the phenomenon in which topics, language use or social norms change over time. This study aims to investigate the nature and impact of temporal bias in abusive language detection across various languages and explore mitigation methods. We evaluate the performance of models on abusive data sets from different time periods. Our results demonstrate that temporal bias is a significant challenge for abusive language detection, with models trained on historical data showing a significant drop in performance over time. We also present an extensive linguistic analysis of these abusive data sets from a diachronic perspective, aiming to explore the reasons for language evolution and performance decline. This study sheds light on the pervasive issue of temporal bias in abusive language detection across languages, offering crucial insights into language evolution and temporal bias mitigation.
• Abstract（参考訳）: オンラインの虐待的言語の使用は、個人と社会の両方にダメージを与え、心理的危害からエスカレーション、現実の暴力、さらには死に至るまで、ますます広まりつつある問題となっている。 機械学習モデルは乱用言語を自動的に検出するために開発されたが、これらのモデルは時間的バイアス、つまりトピックや言語の使用、社会的規範が時間とともに変化する現象に苦しむ可能性がある。 本研究の目的は,多言語にわたる虐待的言語検出における時間的バイアスの性質と影響を調査し,緩和法を検討することである。 我々は,異なる期間における乱用データセットのモデルの性能を評価する。 その結果,時間的バイアスは乱用言語検出の重要な課題であり,過去のデータに基づいてトレーニングされたモデルが時間とともに大幅なパフォーマンス低下を示すことが示された。 また,これらの乱用データセットをダイアクロニックな視点から広範な言語解析を行い,言語の進化と性能低下の理由を探究する。 本研究は,言語間の虐待的言語検出における時間的バイアスの広範的問題に注目し,言語進化と時間的バイアス軽減に関する重要な洞察を提供する。

関連論文リスト

• Does Liking Yellow Imply Driving a School Bus? Semantic Leakage in Language Models [113.58052868898173]
  我々は、モデルが予期しない方法でプロンプトから生成元に無関係な情報を漏らす現象を識別し、特徴付けする。 本研究では,人間と自動の両方でセマンティックリークを検出するための評価設定を提案し,その振る舞いを診断するための多様なテストスイートをキュレートし,13のフラッグシップモデルにおいて重要なセマンティックリークを測定する。
  論文  参考訳（メタデータ） (2024-08-12T22:30:55Z)
• Lessons from the Trenches on Reproducible Evaluation of Language Models [60.522749986793094]
  我々は,大規模言語モデルの評価を3年間経験し,研究者に指導とレッスンを提供してきた。 本稿では,言語モデルの独立性,再現性,評価を行うオープンソースライブラリであるLanguage Model Evaluation Harness(lm-eval)を紹介する。
  論文  参考訳（メタデータ） (2024-05-23T16:50:49Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• On the application of Large Language Models for language teaching and assessment technology [18.735612275207853]
  我々は,AIによる言語教育とアセスメントシステムに大規模言語モデルを導入する可能性を検討する。 より大きな言語モデルは、テキスト生成における以前のモデルよりも改善されていることがわかった。 自動階調と文法的誤り訂正において、よく知られたベンチマークで進捗が確認されたタスクについては、初期の調査では、彼ら自身の大きな言語モデルが最先端の結果を改善していないことが示されている。
  論文  参考訳（メタデータ） (2023-07-17T11:12:56Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• No Time Like the Present: Effects of Language Change on Automated Comment Moderation [0.0]
  オンラインヘイトの拡大は、コメント欄を主催する新聞にとって重大な問題となっている。 自動乱用言語検出に機械学習と自然言語処理を使うことへの関心が高まっている。 我々は、ナイーブなML技術で訓練された分類器が将来のデータで過小評価されることを、ドイツの新聞のコメントデータセットを使って示す。
  論文  参考訳（メタデータ） (2022-07-08T16:39:21Z)
• Characteristics of Harmful Text: Towards Rigorous Benchmarking of Language Models [32.960462266615096]
  大規模な言語モデルは、多くのアプリケーションを動かす人間のようなテキストを生成する。 近年の文献や現実世界の観測により、これらのモデルが有害、偏見があり、非現実的、その他の有害な言語を生成できることが証明されている。 我々は、新しいベンチマークを設計する際、明らかな考慮に値する有害なテキストを特徴づける6つの方法を概説する。
  論文  参考訳（メタデータ） (2022-06-16T17:28:01Z)
• Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages [5.51252705016179]
  Indic言語における多言語乱用音声の大規模分析を実演する。 本研究では,異なる言語間伝達機構について検討し,様々な多言語モデルによる虐待的音声検出の性能について検討する。
  論文  参考訳（メタデータ） (2022-04-26T18:56:01Z)
• Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
  バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。 我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。 我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
  論文  参考訳（メタデータ） (2021-01-29T22:03:17Z)
• Joint Modelling of Emotion and Abusive Language Detection [26.18171134454037]
  マルチタスク学習フレームワークを用いて,感情と虐待的言語検出の最初のジョイントモデルを提案する。 その結果、感情的特徴を取り入れることで、データセット間での悪用検出性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-05-28T14:08:40Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。