論文の概要: Leveraging Audio-LLMs to Filter Speech-to-Speech Training Data

• arxiv url: http://arxiv.org/abs/2606.13507v1
• Date: Thu, 11 Jun 2026 15:55:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.89758
• Title: Leveraging Audio-LLMs to Filter Speech-to-Speech Training Data
• Title（参考訳）: 音声と音声の学習データをフィルタリングするオーディオLLMの活用
• Authors: Qixu Chen, Satoshi Nakamura,
• Abstract要約: 本研究では,音声から直接ペア音声の保存/ドロップ決定を行うために,音声モデルの訓練方法について検討する。 軽量なランク付け器は、ノイズの多い音声ペアから保持/ドロップ擬似ラベルを生成し、その後、音声大言語モデルを訓練して、保持/ドロップを予測する。 CVSS-CとSpeechMatrixの実験では、非フィルタリングトレーニングよりも一貫した改善が見られ、エンドツーエンドのS2STでは最大1.4のASR-BLEUが得られる。
• 参考スコア（独自算出の注目度）: 5.0319300412852765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale mined corpora provide abundant training data for end-to-end speech-to-speech translation (S2ST) but may contain noise, misalignment, and semantic errors. Filtering noisy data is crucial to maintain robust speech translation performance. We study how to train an audio-language model to make keep/drop decisions on paired speech directly from audio. To obtain reliable supervision without manual labels, we adopt a scalable two-stage Rank-to-Distill strategy. A lightweight ranker generates keep/drop pseudo-labels from noisy speech pairs, then trains an audio large language model to predict keep/drop directly from raw paired speech. The resulting model jointly captures acoustic fidelity and cross-lingual semantic consistency for the selection of speech-conditioned data. Experiments on CVSS-C and SpeechMatrix show consistent improvements over unfiltered training, yielding up to +1.4 ASR-BLEU for end-to-end S2ST.
• Abstract（参考訳）: 大規模コーパスは、エンドツーエンドの音声音声翻訳(S2ST)のための豊富なトレーニングデータを提供するが、ノイズ、不一致、セマンティックエラーを含む可能性がある。 頑健な音声翻訳性能を維持するためには,ノイズの多いデータのフィルタリングが不可欠である。 本研究では,音声から直接ペア音声の保存/ドロップ決定を行うために,音声モデルの訓練方法について検討する。 手動ラベルを使わずに信頼性の高い監視を実現するために,スケーラブルな2段階ランク・ツー・ディスティル戦略を採用する。 軽量なランク付け器は、ノイズの多い音声ペアから保持/ドロップ擬似ラベルを生成し、その後、オーディオ大言語モデルを訓練し、生のペア音声から直接保持/ドロップを予測する。 得られたモデルは、音声条件付きデータの選択のための音響的忠実度と言語間セマンティック一貫性を共同でキャプチャする。 CVSS-CとSpeechMatrixの実験では、非フィルタリングトレーニングよりも一貫した改善が見られ、エンドツーエンドのS2STでは最大1.4のASR-BLEUが得られる。

関連論文リスト

• Improving Accented Speech Recognition using Data Augmentation based on Unsupervised Text-to-Speech Synthesis [30.97784092953007]
  本稿では、アクセント付き音声認識を改善するためのデータ拡張手法として、教師なし音声合成(TTS)の使用について検討する。 TTSシステムは、手書き文字起こしではなく、少量のアクセント付き音声訓練データとそれらの擬似ラベルで訓練される。 この手法により,アクセント付き音声認識のためのデータ拡張を行うために,手書きの書き起こしを伴わないアクセント付き音声データを使用することが可能である。
  論文  参考訳（メタデータ） (2024-07-04T16:42:24Z)
• Speech-to-Speech Translation with Discrete-Unit-Based Style Transfer [53.72998363956454]
  個別の自己教師付き表現を用いた音声音声合成(S2ST)は顕著な精度を達成している。 高品質な話者並列データの不足は、翻訳中にスタイル転送を学習する上での課題となる。 我々は、個別の自己教師付き音声表現と音色単位に基づいて、スタイル変換機能を備えたS2STパイプラインを設計する。
  論文  参考訳（メタデータ） (2023-09-14T09:52:08Z)
• AV-TranSpeech: Audio-Visual Robust Speech-to-Speech Translation [55.1650189699753]
  音声から音声への直接翻訳(S2ST)は、ある言語から別の言語への変換を目的としており、現在までに顕著な進歩を見せている。 現在のS2STモデルは相変わらずノイズの多い環境での劣化に悩まされ、視覚音声の翻訳に失敗している。 AV-TranSpeechは、中間テキストに依存しない最初の音声-視覚音声-音声合成モデルである。
  論文  参考訳（メタデータ） (2023-05-24T17:59:03Z)
• Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation [94.80029087828888]
  直接音声音声翻訳 (S2ST) は, カスケードされたS2STと比較して, 優れた研究課題である。 直接S2STは、ソース言語の音声からターゲット言語の音声へのコーパスが非常に稀であるため、データ不足の問題に悩まされる。 本稿では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを事前学習したSpeech2Sモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-31T02:55:51Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
  本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。 マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
  論文  参考訳（メタデータ） (2021-12-15T18:56:35Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。