論文の概要: Homophone Reveals the Truth: A Reality Check for Speech2Vec
- arxiv url: http://arxiv.org/abs/2209.10791v2
- Date: Fri, 23 Sep 2022 11:10:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 10:44:53.130408
- Title: Homophone Reveals the Truth: A Reality Check for Speech2Vec
- Title（参考訳）: homophoneが真実を語る: speech2vecの現実チェック
- Authors: Guangyu Chen
- Abstract要約: 本稿では,本分野における基礎研究の真正性,すなわちSpeech2Vecについて検討する。
これらの埋め込みがSpeech2Vecモデルによって生成されるという兆候はない。
実験の結果、このモデルは効果的なセマンティック埋め込みを学習できなかった。
- 参考スコア（独自算出の注目度）: 1.2691047660244335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating spoken word embeddings that possess semantic information is a
fascinating topic. Compared with text-based embeddings, they cover both
phonetic and semantic characteristics, which can provide richer information and
are potentially helpful for improving ASR and speech translation systems. In
this paper, we review and examine the authenticity of a seminal work in this
field: Speech2Vec. First, a homophone-based inspection method is proposed to
check the speech embeddings released by the author of Speech2Vec. There is no
indication that these embeddings are generated by the Speech2Vec model.
Moreover, through further analysis of the vocabulary composition, we suspect
that a text-based model fabricates these embeddings. Finally, we reproduce the
Speech2Vec model, referring to the official code and optimal settings in the
original paper. Experiments showed that this model failed to learn effective
semantic embeddings. In word similarity benchmarks, it gets a correlation score
of 0.08 in MEN and 0.15 in WS-353-SIM tests, which is over 0.5 lower than those
described in the original paper. Our data and code are available.
- Abstract（参考訳）: 意味的情報を持つ音声単語埋め込みの生成は興味深い話題である。
テキストベースの埋め込みと比較すると、よりリッチな情報を提供し、ASRや音声翻訳システムを改善するのに有用な音声的特徴と意味的特徴の両方をカバーしている。
本稿では,本分野における基礎研究の真正性,すなわちSpeech2Vecについて検討する。
まず,Speech2Vecの著者がリリースした音声埋め込みをチェックするために,ホモフォンによる検査手法を提案する。
これらの埋め込みがSpeech2Vecモデルによって生成されるという兆候はない。
さらに、語彙構成のさらなる分析を通じて、テキストベースのモデルがこれらの埋め込みを構成すると疑う。
最後に,本論文における公式コードと最適設定を参照して,Speech2Vecモデルを再現する。
実験の結果、このモデルは効果的なセマンティック埋め込みを学習できなかった。
単語類似性ベンチマークでは、MENでは0.08、WS-353-SIMテストでは0.15の相関スコアが与えられ、元の論文より0.5以上低い。
データとコードは利用可能です。
関連論文リスト
- DM-Codec: Distilling Multimodal Representations for Speech Tokenization [11.433520275513803]
DM-Codecは文脈情報を含む言語モデル誘導蒸留法である。
WERは13.46%まで低下し、WILは9.82%、音声品質は5.84%向上し、LibriSpeechベンチマークデータセットでは1.85%向上した。
論文 参考訳（メタデータ） (2024-10-19T07:14:14Z) - Few-Shot Spoken Language Understanding via Joint Speech-Text Models [18.193191170754744]
テキストと協調的に事前学習した音声表現モデルに関する最近の研究は、音声表現の改善の可能性を示している。
このような共有表現を活用して、音声言語理解タスクにおける限られたデータ可用性の持続的課題に対処する。
事前訓練された音声テキストモデルを用いることで、テキスト上で微調整されたモデルを音声テストデータに効果的に転送できることが分かる。
論文 参考訳（メタデータ） (2023-10-09T17:59:21Z) - ContextSpeech: Expressive and Efficient Text-to-Speech for Paragraph
Reading [65.88161811719353]
本研究は、軽量で効果的なテキスト音声合成システムであるContextSpeechを開発する。
まず,グローバルテキストと音声コンテキストを文エンコーディングに組み込むメモリキャッシュ再帰機構を設計する。
我々は,グローバルな文脈拡張の範囲を広げるため,階層的に構造化されたテキストセマンティクスを構築した。
実験の結果,ContextSpeechは段落読解における音質と韻律を競争モデル効率で著しく改善することがわかった。
論文 参考訳（メタデータ） (2023-07-03T06:55:03Z) - Understanding Shared Speech-Text Representations [34.45772613231558]
Mae-Stroは、エンドツーエンドモデルにテキストを組み込むことで、音声モデルを訓練するアプローチを開発した。
音声テキストアライメントのためのコーパス固有持続時間モデルが,共有音声テキスト表現を学習する上で最も重要な要素であることが判明した。
共有エンコーダは、ユニモーダルエンコーダよりもコンパクトで重なり合う音声テキスト表現を学習する。
論文 参考訳（メタデータ） (2023-04-27T20:05:36Z) - SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。
具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。
音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
論文 参考訳（メタデータ） (2022-09-30T09:12:10Z) - SoundChoice: Grapheme-to-Phoneme Models with Semantic Disambiguation [10.016862617549991]
本稿では,単語レベルで操作するのではなく文全体を処理可能な新しいGrapheme-to-Phoneme(G2P)アーキテクチャであるSoundChoiceを提案する。
SoundChoiceは、LibriSpeechとWikipediaのデータを用いて全文の書き起こしで2.65%のPhoneme Error Rate(PER)を達成する。
論文 参考訳（メタデータ） (2022-07-27T01:14:59Z) - Unified Speech-Text Pre-training for Speech Translation and Recognition [113.31415771943162]
音声認識のためのエンコーダ・デコーダ・モデリング・フレームワークにおいて,音声とテキストを協調的に事前学習する手法について述べる。
提案手法は,4つの自己教師付きサブタスクを組み込んだクロスモーダル学習手法である。
MuST-C音声翻訳データセットの最先端よりも1.7から2.3BLEUの改善が達成されている。
論文 参考訳（メタデータ） (2022-04-11T20:59:51Z) - Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs
for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。
具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。
既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文 参考訳（メタデータ） (2021-10-11T00:08:48Z) - Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。
既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。
本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
論文 参考訳（メタデータ） (2020-10-28T12:33:04Z) - Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。
我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。
我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
論文 参考訳（メタデータ） (2020-08-21T20:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。