論文の概要: An Investigation Into Explainable Audio Hate Speech Detection
- arxiv url: http://arxiv.org/abs/2408.06065v1
- Date: Mon, 12 Aug 2024 11:32:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:23:51.962942
- Title: An Investigation Into Explainable Audio Hate Speech Detection
- Title（参考訳）: 説明可能な音声ヘイト音声検出に関する検討
- Authors: Jinmyeong An, Wonjun Lee, Yejin Jeon, Jungseul Ok, Yunsu Kim, Gary Geunbae Lee,
- Abstract要約: 本稿では,音声ヘイトスピーチ検出のための新しいタスクを提案する。
カスケーディングとEnd-to-End(E2E)の2つのアプローチを提案する。
E2Eアプローチは、音声の発話を直接処理し、特定の時間枠内でヘイトスピーチを特定できる。
- 参考スコア（独自算出の注目度）: 11.823876673099662
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Research on hate speech has predominantly revolved around detection and interpretation from textual inputs, leaving verbal content largely unexplored. While there has been limited exploration into hate speech detection within verbal acoustic speech inputs, the aspect of interpretability has been overlooked. Therefore, we introduce a new task of explainable audio hate speech detection. Specifically, we aim to identify the precise time intervals, referred to as audio frame-level rationales, which serve as evidence for hate speech classification. Towards this end, we propose two different approaches: cascading and End-to-End (E2E). The cascading approach initially converts audio to transcripts, identifies hate speech within these transcripts, and subsequently locates the corresponding audio time frames. Conversely, the E2E approach processes audio utterances directly, which allows it to pinpoint hate speech within specific time frames. Additionally, due to the lack of explainable audio hate speech datasets that include audio frame-level rationales, we curated a synthetic audio dataset to train our models. We further validated these models on actual human speech utterances and found that the E2E approach outperforms the cascading method in terms of the audio frame Intersection over Union (IoU) metric. Furthermore, we observed that including frame-level rationales significantly enhances hate speech detection accuracy for the E2E approach. \textbf{Disclaimer} The reader may encounter content of an offensive or hateful nature. However, given the nature of the work, this cannot be avoided.
- Abstract（参考訳）: ヘイトスピーチの研究は、文章の入力からの検出と解釈を中心に大きく発展し、言葉の内容はほとんど探索されていないままである。
音声入力におけるヘイトスピーチの検出は限定的に検討されているが、解釈可能性の側面は見過ごされている。
そこで本稿では,音声ヘイトスピーチ検出のための新しいタスクを提案する。
具体的には、ヘイトスピーチ分類の証拠となる音声フレームレベルの有理数と呼ばれる正確な時間間隔を特定することを目的とする。
この目的のために,カスケーディングとEnd-to-End(E2E)の2つのアプローチを提案する。
カスケーディング方式は、最初は音声を文字起こしに変換し、これらの文字起こしの中でヘイトスピーチを識別し、その後対応する音声時間フレームを特定する。
逆にE2Eアプローチは、音声の発話を直接処理し、特定の時間枠内でヘイトスピーチを特定できる。
さらに、音声フレームレベルの合理性を含む説明可能な音声ヘイトスピーチデータセットが欠如しているため、私たちは、モデルをトレーニングするために合成オーディオデータセットをキュレートしました。
さらに、実際の人間の発話におけるこれらのモデルの有効性を検証した結果、E2Eアプローチは、音声フレームのIoU(Intersection over Union)メートル法において、カスケーディング法よりも優れていることがわかった。
さらに,フレームレベルの有理性を含むと,E2E手法のヘイトスピーチ検出精度が著しく向上することがわかった。
textbf{Disclaimer} 読者は攻撃的あるいは憎悪的な性質のコンテンツに遭遇する可能性がある。
しかし、その作品の性質を考えると、これは避けられない。
関連論文リスト
- Hierarchical Sentiment Analysis Framework for Hate Speech Detection: Implementing Binary and Multiclass Classification Strategy [0.0]
本稿では,英語におけるヘイトスピーチを検出するために,共有感情表現と統合された新しいマルチタスクモデルを提案する。
我々は、感情分析とトランスフォーマーに基づく訓練モデルを利用することで、複数のデータセット間でのヘイトスピーチの検出を大幅に改善できると結論付けた。
論文 参考訳（メタデータ） (2024-11-03T04:11:33Z) - Character-aware audio-visual subtitling in context [58.95580154761008]
本稿では,テレビ番組における文字認識型音声視覚サブタイピングのための改良されたフレームワークを提案する。
提案手法は,音声認識,話者ダイアリゼーション,文字認識を統合し,音声と視覚の両方を活用する。
提案手法を12テレビ番組のデータセット上で検証し,既存手法と比較して話者ダイアリゼーションと文字認識精度に優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-14T20:27:34Z) - Towards Interpretable Hate Speech Detection using Large Language Model-extracted Rationales [15.458557611029518]
ソーシャルメディアプラットフォームは、ユーザーが対人的な議論を行い、意見を述べるための重要な場である。
ヘイトスピーチのインスタンスを自動的に識別し、フラグを付ける必要がある。
本稿では,現在最先端の大規模言語モデル (LLM) を用いて,入力テキストから有理形の特徴を抽出することを提案する。
論文 参考訳（メタデータ） (2024-03-19T03:22:35Z) - TransFace: Unit-Based Audio-Visual Speech Synthesizer for Talking Head
Translation [54.155138561698514]
音声から音声への直接翻訳は、自己教師付き学習から得られる離散単位を導入することにより、高品質な結果が得られる。
既存の方法は常にカスケードに依存し、音声とテキストの両方を通して合成し、遅延やカスケードエラーを引き起こす。
本稿では,音声-視覚音声を他の言語で直接音声-視覚音声に翻訳できる,頭部翻訳モデルである textbfTransFace を提案する。
論文 参考訳（メタデータ） (2023-12-23T08:45:57Z) - Learning Speech Representation From Contrastive Token-Acoustic
Pretraining [57.08426714676043]
本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。
提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
論文 参考訳（メタデータ） (2023-09-01T12:35:43Z) - Hate Speech Detection via Dual Contrastive Learning [25.878271501274245]
本稿では,ヘイトスピーチ検出のための新しい双方向コントラスト学習フレームワークを提案する。
本フレームワークは,自己教師型学習と教師型学習の損失を協調的に最適化し,スパンレベルの情報を取得する。
公開可能な2つの英語データセットの実験を行い、実験結果から、提案モデルが最先端のモデルより優れていることが示された。
論文 参考訳（メタデータ） (2023-07-10T13:23:36Z) - Leveraging World Knowledge in Implicit Hate Speech Detection [5.5536024561229205]
テキスト中のエンティティの言及に関する現実的な知識は、モデルがヘイトスピーチをよりよく検出するのに役立ちます。
また,実世界の知識がヘイトスピーチ検出に価値を与えない事例についても論じる。
論文 参考訳（メタデータ） (2022-12-28T21:23:55Z) - Assessing the impact of contextual information in hate speech detection [0.48369513656026514]
我々は,Twitter上のメディアからのニュース投稿に対するユーザの反応に基づいた,文脈的ヘイトスピーチ検出のための新しいコーパスを提供する。
このコーパスはリオプラテンセ方言のスペイン語で収集され、新型コロナウイルスのパンデミックに関連するヘイトスピーチに焦点を当てている。
論文 参考訳（メタデータ） (2022-10-02T09:04:47Z) - Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。
変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。
これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
論文 参考訳（メタデータ） (2021-09-12T04:17:53Z) - Learning Explicit Prosody Models and Deep Speaker Embeddings for
Atypical Voice Conversion [60.808838088376675]
本稿では,明示的な韻律モデルと深層話者埋め込み学習を用いたVCシステムを提案する。
韻律補正器は音素埋め込みを取り入れ、典型的な音素持続時間とピッチ値を推定する。
変換モデルは、音素埋め込みと典型的な韻律特徴を入力として、変換された音声を生成する。
論文 参考訳（メタデータ） (2020-11-03T13:08:53Z) - FragmentVC: Any-to-Any Voice Conversion by End-to-End Extracting and
Fusing Fine-Grained Voice Fragments With Attention [66.77490220410249]
本稿では、Wav2Vec 2.0から、音源話者からの発声の潜在音声構造を求めるFragmentVCを提案する。
FragmentVCは、ターゲット話者発話からきめ細かい音声断片を抽出し、所望の発話に融合することができる。
提案手法は, コンテンツと話者情報との絡み合いを考慮せずに, 再構成損失を学習する。
論文 参考訳（メタデータ） (2020-10-27T09:21:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。