論文の概要: Neural Grapheme-to-Phoneme Conversion with Pre-trained Grapheme Models

• arxiv url: http://arxiv.org/abs/2201.10716v1
• Date: Wed, 26 Jan 2022 02:49:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 22:58:54.636060
• Title: Neural Grapheme-to-Phoneme Conversion with Pre-trained Grapheme Models
• Title（参考訳）: 事前学習したグラフモデルを用いたニューラルグラフ-フォネム変換
• Authors: Lu Dong, Zhi-Qiang Guo, Chao-Hong Tan, Ya-Jun Hu, Yuan Jiang and Zhen-Hua Ling
• Abstract要約: 本稿では,Grapheme BERT (GBERT) と呼ばれる事前学習型Graphemeモデルを提案する。 GBERTは、グラフ情報しか持たない大きな言語固有の単語リスト上で、自己教師型トレーニングによって構築される。 GBERTを最先端のTransformerベースのG2Pモデルに組み込むための2つのアプローチが開発されている。
• 参考スコア（独自算出の注目度）: 35.60380484684335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network models have achieved state-of-the-art performance on grapheme-to-phoneme (G2P) conversion. However, their performance relies on large-scale pronunciation dictionaries, which may not be available for a lot of languages. Inspired by the success of the pre-trained language model BERT, this paper proposes a pre-trained grapheme model called grapheme BERT (GBERT), which is built by self-supervised training on a large, language-specific word list with only grapheme information. Furthermore, two approaches are developed to incorporate GBERT into the state-of-the-art Transformer-based G2P model, i.e., fine-tuning GBERT or fusing GBERT into the Transformer model by attention. Experimental results on the Dutch, Serbo-Croatian, Bulgarian and Korean datasets of the SIGMORPHON 2021 G2P task confirm the effectiveness of our GBERT-based G2P models under both medium-resource and low-resource data conditions.
• Abstract（参考訳）: ニューラルネットワークモデルは、G2P変換において最先端の性能を達成した。 しかし、それらの性能は、多くの言語で使用できない大規模な発音辞書に依存している。 本稿では,事前学習型言語モデルBERTの成功に触発されて,グラフeme BERT (GBERT) と呼ばれる,グラフeme情報のみを持つ大規模言語固有の単語リスト上で,自己教師型トレーニングによって構築される事前学習型グラフemeモデルを提案する。 さらに、GBERTを最先端のTransformerベースのG2Pモデル、すなわち細調整GBERTやGBERTをTransformerモデルに注目する2つのアプローチが開発されている。 SIGMORPHON 2021 G2Pタスクのオランダ、セルビア、ブルガリア、韓国のデータセットに対する実験結果から、GBERTベースのG2Pモデルが中・低リソースのデータ条件下での有効性が確認された。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• RecurrentGemma: Moving Past Transformers for Efficient Open Language Models [103.59785165735727]
  Googleの新しいGriffinアーキテクチャを使ったオープン言語モデルのファミリーであるRecurrentGemmaを紹介する。 Griffinは、言語における優れたパフォーマンスを達成するために、線形反復と局所的な注意を組み合わせる。 2Bパラメーターと9Bパラメーターを含むモデルのサイズを2つ提供し、両方のモデルに対して事前訓練および命令チューニングのバリエーションを提供する。
  論文  参考訳（メタデータ） (2024-04-11T15:27:22Z)
• Multilingual Translation via Grafting Pre-trained Language Models [12.787188625198459]
  本稿では,機械翻訳のための事前学習言語モデルを個別に移植するGraformerを提案する。 事前学習のための単言語データと移植訓練のための並列データを用いて,両タイプのデータの利用を最大限に活用する。
  論文  参考訳（メタデータ） (2021-09-11T10:57:45Z)
• Stage-wise Fine-tuning for Graph-to-Text Generation [25.379346921398326]
  グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。 本研究では, ウィキペディアで最初に微調整を行い, グラフ・テキスト生成に適応する構造化グラフ・トゥ・テキストモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-17T17:15:29Z)
• Paraphrastic Representations at Scale [134.41025103489224]
  私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。 我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
  論文  参考訳（メタデータ） (2021-04-30T16:55:28Z)
• PnG BERT: Augmented BERT on Phonemes and Graphemes for Neural TTS [27.20479869682578]
  PnG BERTはニューラルTSのための新しいエンコーダモデルである。 大規模テキストコーパス上で、自己管理的な方法で事前訓練することができる。
  論文  参考訳（メタデータ） (2021-03-28T06:24:00Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Unsupervised Paraphrase Generation using Pre-trained Language Models [0.0]
  OpenAIのGPT-2は、流動的で、十分に定式化された、文法的に一貫性のあるテキストを生成する能力で有名である。 我々は、GPT-2のこの生成能力を活用し、ラベル付きデータから何の監督も受けずにパラフレーズを生成する。 実験の結果,我々のモデルで生成したパラフレーズは質が良く,多種多様であり,データ拡張に使用する場合のダウンストリームタスク性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-06-09T19:40:19Z)
• CycleGT: Unsupervised Graph-to-Text and Text-to-Graph Generation via Cycle Training [63.11444020743543]
  グラフ・ツー・テキスト(G2T)とテキスト・ツー・テキスト(T2G)の変換のためのディープラーニングモデルは、訓練データ不足に悩まされる。 本稿では,非並列グラフとテキストデータからブートストラップ可能な教師なしのトレーニング手法であるCycleGTについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T15:59:00Z)
• Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling [4.525267347429154]
  BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。 さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。 我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
  論文  参考訳（メタデータ） (2020-03-29T14:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。