Fugu-MT 論文翻訳(概要): Revisiting speech segmentation and lexicon learning with better features

論文の概要: Revisiting speech segmentation and lexicon learning with better features

arxiv url: http://arxiv.org/abs/2401.17902v1
Date: Wed, 31 Jan 2024 15:06:34 GMT
ステータス: 処理完了
システム内更新日: 2024-02-01 14:18:30.371737
Title: Revisiting speech segmentation and lexicon learning with better features
Title（参考訳）: より良い特徴を持つ音声分節と語彙学習の再検討
Authors: Herman Kamper, Benjamin van Niekerk
Abstract要約: 我々は,未学習の音声を単語のようなセグメントに分割する自己教師型手法を再検討する。まず,2段階の持続時間ペン化動的プログラミング法から始める。第1の音響ユニット発見段階では、コントラスト予測符号を HuBERT に置き換える。第2段階における単語セグメンテーションの後,HuBERT特徴量の平均化により,各セグメントに音響単語を埋め込む。
参考スコア（独自算出の注目度）: 29.268728666438495
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We revisit a self-supervised method that segments unlabelled speech into word-like segments. We start from the two-stage duration-penalised dynamic programming method that performs zero-resource segmentation without learning an explicit lexicon. In the first acoustic unit discovery stage, we replace contrastive predictive coding features with HuBERT. After word segmentation in the second stage, we get an acoustic word embedding for each segment by averaging HuBERT features. These embeddings are clustered using K-means to get a lexicon. The result is good full-coverage segmentation with a lexicon that achieves state-of-the-art performance on the ZeroSpeech benchmarks.
Abstract（参考訳）: 我々は,未学習音声を単語のようなセグメントに分割する自己教師方式を再検討する。まず,ゼロリソースセグメンテーションを明示的なレキシコンを学習することなく行う2段階の持続時間ペナルティ付き動的プログラミング手法から始める。第1の音響ユニット発見段階では、コントラスト予測符号を HuBERT に置き換える。第2段階における単語セグメンテーションの後,HuBERT特徴量の平均化により各セグメントに音響単語を埋め込む。これらの埋め込みはK平均を用いてクラスタ化され、レキシコンを得る。その結果、zerospeechベンチマークで最先端のパフォーマンスを実現するレキシコンを備えた完全なセグメンテーションが実現した。

関連論文リスト

REBORN: Reinforcement-Learned Boundary Segmentation with Iterative Training for Unsupervised ASR [54.64158282822995]
教師なしASRにおける反復訓練を用いたREBORN, Reinforcement-Learned boundaryを提案する。 ReBORNは、音声信号におけるセグメント構造の境界を予測するセグメンテーションモデルのトレーニングと、セグメンテーションモデルによってセグメント化された音声特徴である音素予測モデルのトレーニングを交互に行い、音素転写を予測する。我々は、広範囲にわたる実験を行い、同じ条件下で、REBORNは、LibriSpeech、TIMIT、および5つの非英語言語において、以前の教師なしASRモデルよりも優れていることを発見した。
論文参考訳（メタデータ） (2024-02-06T13:26:19Z)
Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。 ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文参考訳（メタデータ） (2023-06-01T08:47:06Z)
Where's the Point? Self-Supervised Multilingual Punctuation-Agnostic Sentence Segmentation [65.6736056006381]
85言語を対象とした多言語句読解文セグメンテーション法を提案する。提案手法は,従来の最良文分割ツールを平均6.1%F1ポイントで上回っている。 MTモデルの訓練に使用するセグメンテーションと文のセグメンテーションを一致させる手法を用いて,平均2.3BLEU点の改善を実現する。
論文参考訳（メタデータ） (2023-05-30T09:49:42Z)
Smart Speech Segmentation using Acousto-Linguistic Features with look-ahead [3.579111205766969]
本稿では,音響情報と言語情報を併用してセグメンテーションを改善するハイブリッド手法を提案する。平均して、私たちのモデルはセグメンテーション-F0.5スコアをベースラインで9.8%改善します。機械翻訳の下流タスクでは、BLEUスコアを平均1.05ポイント改善する。
論文参考訳（メタデータ） (2022-10-26T03:36:31Z)
Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
論文参考訳（メタデータ） (2022-05-02T17:59:02Z)
Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
論文参考訳（メタデータ） (2022-03-18T06:40:39Z)
Word Segmentation on Discovered Phone Units with Dynamic Programming and Self-Supervised Scoring [23.822788597966646]
教師なし音声セグメンテーションの最近の研究は、電話セグメンテーションモジュールと、共同で訓練された単語セグメンテーションモジュールを備えた自己教師型モデルを用いている。本稿では,この共同手法と,まずボトムアップ電話のような単位探索を行い,その上で記号的単語セグメンテーションを行うという,従来の考え方と比較する。具体的には、セグメントコストを与える自己監督型スコアリングネットワークを変更することで、電話や単語のセグメンテーションに使用可能な、期間金化動的プログラミング(DPDP)手順を具体的に記述する。
論文参考訳（メタデータ） (2022-02-24T07:02:56Z)
Adaptive Early-Learning Correction for Segmentation from Noisy Annotations [13.962891776039369]
不正確な注釈付きデータに基づいて訓練されたディープセグメンテーションネットワークの学習ダイナミクスについて検討する。 2つのキー要素を持つノイズの多いアノテーションから分割する新しい手法を提案する。
論文参考訳（メタデータ） (2021-10-07T18:46:23Z)
Segmental Contrastive Predictive Coding for Unsupervised Word Segmentation [33.35220574193796]
本稿では,信号構造を音素レベルでより高レベルにモデル化できるSCPC( segmental contrastive predictive coding)フレームワークを提案する。微分可能な境界検出器は可変長のセグメントを見つけ、NCEを介してセグメントエンコーダを最適化する。本稿では,TIMITおよびBuckeyeデータセットにおける既存の音素・単語分割手法より,単一モデルの方が優れていることを示す。
論文参考訳（メタデータ） (2021-06-03T23:12:05Z)
Whole-Word Segmental Speech Recognition with Acoustic Word Embeddings [28.04666950237383]
本研究では,全単語(音響対単語)音声認識のためのセグメントモデルについて検討する。本稿では,エンドツーエンドの単語セグメントモデルに対する効率的なアプローチについて述べる。音響セグメント表現の事前学習により,単語誤り率を大幅に削減できることがわかった。
論文参考訳（メタデータ） (2020-07-01T02:22:09Z)
Continuous speech separation: dataset and analysis [52.10378896407332]
自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
論文参考訳（メタデータ） (2020-01-30T18:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。