論文の概要: DefVerify: Do Hate Speech Models Reflect Their Dataset's Definition?

• arxiv url: http://arxiv.org/abs/2410.15911v1
• Date: Mon, 21 Oct 2024 11:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:20.740851
• Title: DefVerify: Do Hate Speech Models Reflect Their Dataset's Definition?
• Title（参考訳）: DefVerify: ヘイトスピーチモデルはデータセットの定義を反映しているか?
• Authors: Urja Khurana, Eric Nalisnick, Antske Fokkens,
• Abstract要約: DefVerifyは、ユーザーが指定したヘイトスピーチの定義を符号化する3段階の手順である。 DefVerifyを使用して、一般的な6つのヘイトスピーチベンチマークデータセットに適用した場合、定義とモデル動作のギャップを見つけます。
• 参考スコア（独自算出の注目度）: 2.0618817976970103
• License:
• Abstract: When building a predictive model, it is often difficult to ensure that domain-specific requirements are encoded by the model that will eventually be deployed. Consider researchers working on hate speech detection. They will have an idea of what is considered hate speech, but building a model that reflects their view accurately requires preserving those ideals throughout the workflow of data set construction and model training. Complications such as sampling bias, annotation bias, and model misspecification almost always arise, possibly resulting in a gap between the domain specification and the model's actual behavior upon deployment. To address this issue for hate speech detection, we propose DefVerify: a 3-step procedure that (i) encodes a user-specified definition of hate speech, (ii) quantifies to what extent the model reflects the intended definition, and (iii) tries to identify the point of failure in the workflow. We use DefVerify to find gaps between definition and model behavior when applied to six popular hate speech benchmark datasets.
• Abstract（参考訳）: 予測モデルを構築する場合、ドメイン固有の要求が最終的にデプロイされるモデルによってエンコードされることを保証することはしばしば困難である。 ヘイトスピーチの検出に取り組んでいる研究者を考えてみよう。 ヘイトスピーチとは何かというアイデアを持つだろうが、彼らの見解を正確に反映したモデルを構築するには、データセットの構築とモデルのトレーニングのワークフロー全体を通して、それらの理想を保存する必要がある。 サンプリングバイアス、アノテーションバイアス、モデルのミススペクティブといった複雑さは、たいていの場合、ドメイン仕様とデプロイ時のモデルの実際の振る舞いの間にギャップを生じさせます。 ヘイトスピーチ検出におけるこの問題に対処するため,我々はDefVerifyという3段階の手順を提案する。 i) ユーザーが特定したヘイトスピーチの定義を符号化する。 (ii)モデルが意図した定義をどの程度反映しているかを定量化し、 (iii) ワークフローにおける障害点を特定しようとする。 DefVerifyを使用して、一般的な6つのヘイトスピーチベンチマークデータセットに適用した場合、定義とモデル動作のギャップを見つけます。

関連論文リスト

• GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection? [50.53312866647302]
  HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。 GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。 クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
  論文  参考訳（メタデータ） (2024-02-23T10:02:01Z)
• HARE: Explainable Hate Speech Detection with Step-by-Step Reasoning [29.519687405350304]
  本稿では,大規模言語モデル(LLM)の推論能力を利用して,ヘイトスピーチの説明のギャップを埋めるヘイトスピーチ検出フレームワークHAREを紹介する。 SBICとImplicit Hateベンチマークの実験では、モデル生成データを用いた手法がベースラインを一貫して上回ることを示した。 提案手法は,訓練されたモデルの説明品質を高め,未知のデータセットへの一般化を改善する。
  論文  参考訳（メタデータ） (2023-11-01T06:09:54Z)
• Hate Speech Detection in Limited Data Contexts using Synthetic Data Generation [1.9506923346234724]
  本稿では,限られたデータコンテキストにおいて,オンラインヘイトスピーチ検出のためのデータ不足の問題に対処するデータ拡張手法を提案する。 対象言語におけるヘイトスピーチデータの新しい例を合成する3つの方法を提案する。 以上の結果から, 合成データを用いたモデルでは, 対象領域で利用可能なサンプルに対してのみ学習したモデルが比較可能であり, 性能が良好である場合も見いだされた。
  論文  参考訳（メタデータ） (2023-10-04T15:10:06Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• Speech Summarization using Restricted Self-Attention [79.89680891246827]
  音声要約に最適化された単一モデルを提案する。 提案モデルでは,ハウ-2コーパスの音声を直接要約する手法が提案されている。
  論文  参考訳（メタデータ） (2021-10-12T18:21:23Z)
• Auditing AI models for Verified Deployment under Semantic Specifications [65.12401653917838]
  AuditAIは、解釈可能な形式検証とスケーラビリティのギャップを埋める。 AuditAIは、画素空間の摂動のみを用いた検証の限界に対処しながら、検証と認定トレーニングのための制御されたバリエーションを得られるかを示す。
  論文  参考訳（メタデータ） (2021-09-25T22:53:24Z)
• Unsupervised Domain Adaptation for Hate Speech Detection Using a Data Augmentation Approach [6.497816402045099]
  ヘイトスピーチ検出のためのラベル付きデータを拡張するための教師なし領域適応手法を提案する。 精度/リコール曲線の領域を最大42%改善し,278%改善した。
  論文  参考訳（メタデータ） (2021-07-27T15:01:22Z)
• An Information Retrieval Approach to Building Datasets for Hate Speech Detection [3.587367153279349]
  「一般的な慣行は、既知の憎しみの言葉を含むツイートを注釈するだけである。」 第二の課題は、ヘイトスピーチの定義が高度に変動し、主観的である傾向があることである。 我々の重要な洞察は、ヘイトスピーチの希少性と主観性が情報検索(IR)の関連性に類似していることである。
  論文  参考訳（メタデータ） (2021-06-17T19:25:39Z)
• HateCheck: Functional Tests for Hate Speech Detection Models [3.4938484663205776]
  HateCheckはヘイトスピーチ検出モデルのための最初の機能テストスイートである。 我々は、過去の研究を見直して動機づける29のモデル機能を指定する。 我々は,最先端の変圧器検出モデルと商用モデルの試験を行い,致命的なモデルの弱点を明らかにする。
  論文  参考訳（メタデータ） (2020-12-31T13:44:56Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。