論文の概要: Enhancing Multilingual Voice Toxicity Detection with Speech-Text Alignment

• arxiv url: http://arxiv.org/abs/2406.10325v1
• Date: Fri, 14 Jun 2024 17:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 00:52:09.688558
• Title: Enhancing Multilingual Voice Toxicity Detection with Speech-Text Alignment
• Title（参考訳）: 音声テキストアライメントによる多言語音声毒性検出の強化
• Authors: Joseph Liu, Mahesh Kumar Nandwana, Janne Pylkkönen, Hannes Heikinheimo, Morgan McGuire,
• Abstract要約: 音声の毒性分類は、音声の意味的内容に大きく依存する。 テキストのセマンティック埋め込みを多ラベル音声毒性分類器に組み込むために,クロスモーダル学習を利用する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.2936749846785345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Toxicity classification for voice heavily relies on the semantic content of speech. We propose a novel framework that utilizes cross-modal learning to integrate the semantic embedding of text into a multilabel speech toxicity classifier during training. This enables us to incorporate textual information during training while still requiring only audio during inference. We evaluate this classifier on large-scale datasets with real-world characteristics to validate the effectiveness of this framework. Through ablation studies, we demonstrate that general-purpose semantic text embeddings are rich and aligned with speech for toxicity classification purposes. Conducting experiments across multiple languages at scale, we show improvements in voice toxicity classification across five languages and different toxicity categories.
• Abstract（参考訳）: 音声の毒性分類は、音声の意味的内容に大きく依存する。 本稿では,クロスモーダル学習を利用して,テキストのセマンティック埋め込みを学習中の多言語音声毒性分類器に組み込む新しいフレームワークを提案する。 これにより、推論中にのみ音声を必要としながら、トレーニング中にテキスト情報を組み込むことができる。 本研究では,本フレームワークの有効性を検証するために,実世界の特徴を持つ大規模データセットを対象とした分類器の評価を行った。 アブレーション研究を通じて、汎用意味テキストの埋め込みがリッチで、有毒度分類のための音声と整合していることが実証された。 複数言語にまたがる実験を大規模に実施し、5言語にまたがる音声毒性分類の改善と異なる毒性分類を示す。

関連論文リスト

• Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue [71.15186328127409]
  パラリンGPT(Paralin GPT) モデルは、シリアライズされたマルチタスクフレームワーク内の入力プロンプトとして、テキスト、音声埋め込み、およびパラ言語属性の会話コンテキストを取る。 音声対話データセットとして,感情ラベルをパラ言語属性として含むSwitchboard-1コーパスを利用する。
  論文  参考訳（メタデータ） (2023-12-23T18:14:56Z)
• Leveraging Language Model Capabilities for Sound Event Detection [10.792576135806623]
  本稿では,音声イベントとその時間的位置を同時に生成しながら,音声特徴を理解するためのエンドツーエンドフレームワークを提案する。 具体的には、事前学習された音響モデルを用いて、異なるカテゴリーにわたる識別的特徴を捉え、自動回帰テキスト生成のための言語モデルを用いる。
  論文  参考訳（メタデータ） (2023-08-22T15:59:06Z)
• ContextSpeech: Expressive and Efficient Text-to-Speech for Paragraph Reading [65.88161811719353]
  本研究は、軽量で効果的なテキスト音声合成システムであるContextSpeechを開発する。 まず,グローバルテキストと音声コンテキストを文エンコーディングに組み込むメモリキャッシュ再帰機構を設計する。 我々は,グローバルな文脈拡張の範囲を広げるため,階層的に構造化されたテキストセマンティクスを構築した。 実験の結果,ContextSpeechは段落読解における音質と韻律を競争モデル効率で著しく改善することがわかった。
  論文  参考訳（メタデータ） (2023-07-03T06:55:03Z)
• Unsupervised Improvement of Audio-Text Cross-Modal Representations [19.960695758478153]
  本研究では、教師なしのテキストと音声を用いて、そのような表現の学習フレームワークを改善するための教師なしのアプローチについて研究する。 ドメイン固有のキュレーションをソフトラベル付きコントラスト損失と併用することで、ゼロショット分類性能において大幅な改善が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-03T02:30:46Z)
• What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification [0.0]
  本稿では,STA(Selective Text Augmentation)を用いてテキストを選択的に拡張する手法を提案する。 4つの英語と中国語のテキスト分類ベンチマークデータセットの実験により、STAは非選択的なテキスト拡張法を大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2021-09-01T04:03:11Z)
• Deep Learning for Prominence Detection in Children's Read Speech [13.041607703862724]
  子どもの読書記録のラベル付きデータセットを,話者に依存しない著名単語の検出のために検討する。 事前調整されたランダムフォレストアンサンブル予測器をRNNシーケンスに置き換え、潜在的なコンテキスト依存性を利用する。 深層学習を用いて、基本周波数、強度、スペクトル形状の低レベル音響輪郭から単語レベル特徴を得る。
  論文  参考訳（メタデータ） (2021-04-12T14:15:08Z)
• Leveraging Acoustic and Linguistic Embeddings from Pretrained speech and language Models for Intent Classification [81.80311855996584]
  本研究では,前訓練された音声認識システムから抽出した音響特性と,前訓練された言語モデルから学習した言語特性を用いた新しい意図分類フレームワークを提案する。 ATIS と Fluent 音声コーパスの精度は 90.86% と 99.07% である。
  論文  参考訳（メタデータ） (2021-02-15T07:20:06Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)
• Speaker Diarization with Lexical Information [59.983797884955]
  本研究では,音声認識による語彙情報を活用した話者ダイアリゼーション手法を提案する。 本稿では,話者クラスタリングプロセスに単語レベルの話者回転確率を組み込んだ話者ダイアリゼーションシステムを提案し,全体的なダイアリゼーション精度を向上させる。
  論文  参考訳（メタデータ） (2020-04-13T17:16:56Z)
• Unsupervised Cross-Modal Audio Representation Learning from Unstructured Multilingual Text [69.55642178336953]
  教師なし音声表現学習へのアプローチを提案する。 3重項ニューラルネットワークアーキテクチャに基づいて、意味論的に関連付けられたクロスモーダル情報を用いて、音声トラック関連性を推定する。 我々のアプローチは、様々なアノテーションスタイルと、このコレクションの異なる言語に不変であることを示す。
  論文  参考訳（メタデータ） (2020-03-27T07:37:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。