論文の概要: Multilingual acoustic word embedding models for processing zero-resource languages

• arxiv url: http://arxiv.org/abs/2002.02109v2
• Date: Fri, 21 Feb 2020 14:19:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 12:55:53.981991
• Title: Multilingual acoustic word embedding models for processing zero-resource languages
• Title（参考訳）: ゼロリソース言語処理のための多言語音響単語埋め込みモデル
• Authors: Herman Kamper, Yevgen Matusevych, Sharon Goldwater
• Abstract要約: 我々は,複数言語からのラベル付きデータに対して,単一の教師付き埋め込みモデルを訓練する。 次に、見知らぬゼロリソース言語に適用します。
• 参考スコア（独自算出の注目度）: 37.78342106714364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Acoustic word embeddings are fixed-dimensional representations of variable-length speech segments. In settings where unlabelled speech is the only available resource, such embeddings can be used in "zero-resource" speech search, indexing and discovery systems. Here we propose to train a single supervised embedding model on labelled data from multiple well-resourced languages and then apply it to unseen zero-resource languages. For this transfer learning approach, we consider two multilingual recurrent neural network models: a discriminative classifier trained on the joint vocabularies of all training languages, and a correspondence autoencoder trained to reconstruct word pairs. We test these using a word discrimination task on six target zero-resource languages. When trained on seven well-resourced languages, both models perform similarly and outperform unsupervised models trained on the zero-resource languages. With just a single training language, the second model works better, but performance depends more on the particular training--testing language pair.
• Abstract（参考訳）: 音響単語埋め込みは可変長音声セグメントの固定次元表現である。 unlabelled speechが唯一の利用可能なリソースである設定では、そのような埋め込みは「ゼロリソース」な音声検索、インデックス化、発見システムで使用できる。 ここでは,複数のラベル付きデータに対して教師付き埋め込みモデルを訓練し,未認識のゼロリソース言語に適用することを提案する。 この移行学習アプローチでは、全ての訓練言語の連接語彙に基づいて訓練された識別的分類器と、単語ペアを再構築する訓練された対応オートエンコーダの2つの多言語反復ニューラルネットワークモデルを検討する。 これらを6つのゼロリソース言語で単語識別タスクを用いてテストする。 十分なリソースを持つ7つの言語で訓練すると、どちらのモデルも同様に、ゼロリソース言語で訓練された教師なしモデルより優れている。 1つのトレーニング言語だけで、2つ目のモデルはよりうまく機能しますが、パフォーマンスは特定のトレーニング-テスト言語ペアに依存します。

関連論文リスト

• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching [65.74653592668743]
  微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。 訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
  論文  参考訳（メタデータ） (2023-11-25T17:05:21Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Bitext Mining Using Distilled Sentence Representations for Low-Resource Languages [12.00637655338665]
  私たちは、非常に低リソースの言語を研究し、50のアフリカ言語を扱っています。 我々は文エンコーダ、マイニングビットクストを訓練し、NMTシステムのトレーニングによりビットクストを検証する。 これらの言語では、文エンコーダ、ビットクストをマイニングし、NMTシステムのトレーニングによってビットクストを検証する。
  論文  参考訳（メタデータ） (2022-05-25T10:53:24Z)
• Exploring Teacher-Student Learning Approach for Multi-lingual Speech-to-Intent Classification [73.5497360800395]
  複数の言語をサポートするエンドツーエンドシステムを開発した。 我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
  論文  参考訳（メタデータ） (2021-09-28T04:43:11Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Multilingual transfer of acoustic word embeddings improves when training on languages related to the target zero-resource language [32.170748231414365]
  たった一つの関連言語でトレーニングを行うことで、最大の利益が得られます。 また、関係のない言語からのデータを追加することは、一般的にパフォーマンスを損なわないこともわかりました。
  論文  参考訳（メタデータ） (2021-06-24T08:37:05Z)
• Acoustic word embeddings for zero-resource languages using self-supervised contrastive learning and multilingual adaptation [30.669442499082443]
  純粋に教師なしと多言語転送設定の両方で、対照的な学習損失が利用できるかを検討する。 非教師付き項発見システムからの用語は、コントラスト的自己スーパービジョンに使用できることを示す。 自己監督型コントラスト適応は、多言語対応オートエンコーダとSiamese AWEモデルに適応した。
  論文  参考訳（メタデータ） (2021-03-19T11:08:35Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Multilingual Jointly Trained Acoustic and Written Word Embeddings [22.63696520064212]
  このアイデアを複数の低リソース言語に拡張します。 我々は、複数の言語から音声で書き起こされたデータを用いて、AWEモデルとAGWEモデルを共同で訓練する。 事前トレーニングされたモデルは、目に見えないゼロリソース言語や、低リソース言語のデータを微調整するために使用することができる。
  論文  参考訳（メタデータ） (2020-06-24T19:16:02Z)
• Improved acoustic word embeddings for zero-resource languages using multilingual transfer [37.78342106714364]
  我々は、ラベル付きデータに対する複数の良質な言語からの単一の教師付き埋め込みモデルを訓練し、それを目に見えないゼロ・リソース言語に適用する。 本稿では,3つのマルチリンガルリカレントニューラルネットワーク(RNN)モデルについて考察する。全ての訓練言語の連接語彙に基づいて訓練された分類器,複数言語から同一語と異なる単語を識別する訓練されたシームズRNN,単語ペアを再構成する訓練された対応オートエンコーダ(CAE)RNNである。 これらのモデルは、ゼロリソース言語自体で訓練された最先端の教師なしモデルよりも優れており、平均精度が30%以上向上している。
  論文  参考訳（メタデータ） (2020-06-02T12:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。