論文の概要: The Zero Resource Speech Benchmark 2021: Metrics and baselines for unsupervised spoken language modeling

• arxiv url: http://arxiv.org/abs/2011.11588v2
• Date: Tue, 1 Dec 2020 15:53:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 02:54:55.052656
• Title: The Zero Resource Speech Benchmark 2021: Metrics and baselines for unsupervised spoken language modeling
• Title（参考訳）: zero resource speech benchmark 2021: unsupervised spoken language modelingのためのメトリクスとベースライン
• Authors: Tu Anh Nguyen, Maureen de Seyssel, Patricia Roz\'e, Morgane Rivi\`ere, Evgeny Kharitonov, Alexei Baevski, Ewan Dunbar, Emmanuel Dupoux
• Abstract要約: ラベルのない生音声信号から言語表現を学習する。 自己教師型コントラスト表現学習(CPC)、クラスタリング(k-means)、言語モデリング(LSTMまたはBERT)による合成ベースラインの結果と解析について述べる。 この単純なパイプラインは、4つのメトリクスすべてに対して偶然のパフォーマンスよりも優れており、生の音声による音声言語モデリングの可能性を示している。
• 参考スコア（独自算出の注目度）: 23.517751578968344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new unsupervised task, spoken language modeling: the learning of linguistic representations from raw audio signals without any labels, along with the Zero Resource Speech Benchmark 2021: a suite of 4 black-box, zero-shot metrics probing for the quality of the learned models at 4 linguistic levels: phonetics, lexicon, syntax and semantics. We present the results and analyses of a composite baseline made of the concatenation of three unsupervised systems: self-supervised contrastive representation learning (CPC), clustering (k-means) and language modeling (LSTM or BERT). The language models learn on the basis of the pseudo-text derived from clustering the learned representations. This simple pipeline shows better than chance performance on all four metrics, demonstrating the feasibility of spoken language modeling from raw speech. It also yields worse performance compared to text-based 'topline' systems trained on the same data, delineating the space to be explored by more sophisticated end-to-end models.
• Abstract（参考訳）: ラベルのない生音声信号から言語表現を学習する ゼロリソース音声ベンチマーク2021: 学習された4つの言語レベル(音声学、辞書、構文学、意味論)で学習されたモデルの質を探索する4つのブラックボックス、ゼロショットメトリクスからなる組組。 本稿では, 自己教師付きコントラスト表現学習(CPC), クラスタリング(k-means), 言語モデリング(LSTM, BERT)の3つの非教師付きシステムの連結による合成ベースラインの結果と解析を行った。 言語モデルは、学習した表現をクラスタリングした擬似テキストに基づいて学習する。 この単純なパイプラインは、4つのメトリクスすべてに対して偶然のパフォーマンスよりも優れており、生の音声による音声言語モデリングの可能性を示している。 また、同じデータでトレーニングされたテキストベースの'トップライン'システムよりもパフォーマンスが悪くなり、より洗練されたエンドツーエンドモデルによって探索されるスペースを線引きする。

関連論文リスト

• SyllableLM: Learning Coarse Semantic Units for Speech Language Models [21.762112843104028]
  本稿では,音声表現を粗い音節単位にマージする制御可能な自己教師手法を提案する。 制御可能なセマンティックユニットを5Hz,60bpsで生成し,SotA incセグメンテーションとクラスタリングを行った。 SyllableLMは、トレーニング計算の30倍の削減と4倍のウォールクロック推論高速化によって、大幅な効率向上を実現している。
  論文  参考訳（メタデータ） (2024-10-05T04:29:55Z)
• Generative Spoken Language Model based on continuous word-sized audio tokens [52.081868603603844]
  本稿では,単語サイズ連続評価音声埋め込みに基づく生成音声言語モデルを提案する。 結果として得られるモデルは、単語サイズの連続埋め込みに基づく最初の生成言語モデルである。
  論文  参考訳（メタデータ） (2023-10-08T16:46:14Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Bidirectional Representations for Low Resource Spoken Language Understanding [39.208462511430554]
  双方向リッチ符号化における音声符号化のための表現モデルを提案する。 このアプローチでは、表現を学習するために、マスク付き言語モデリングの目的を使用する。 得られたエンコーディングの性能は、複数のデータセットで比較できるモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-24T17:05:16Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• The Interspeech Zero Resource Speech Challenge 2021: Spoken language modelling [19.525392906001624]
  本稿では,テキストやラベルを使わずに,音声から直接言語モデルを学ぶよう参加者に求めるゼロリソース音声チャレンジ2021を紹介する。 課題はLibri-lightデータセットに基づいており、関連するテキストなしで英語のオーディオブックから最大60k時間のオーディオを提供します。
  論文  参考訳（メタデータ） (2021-04-29T23:53:37Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)
• Learning Spoken Language Representations with Neural Lattice Language Modeling [39.50831917042577]
  本稿では,音声言語理解タスクのための文脈表現を提供するために,ニューラルネットワーク言語モデルを訓練するフレームワークを提案する。 提案する2段階事前学習手法は,音声データの要求を低減し,効率を向上する。
  論文  参考訳（メタデータ） (2020-07-06T10:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。