論文の概要: g2pW: A Conditional Weighted Softmax BERT for Polyphone Disambiguation in Mandarin

• arxiv url: http://arxiv.org/abs/2203.10430v2
• Date: Tue, 22 Mar 2022 01:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-26 12:47:05.895606
• Title: g2pW: A Conditional Weighted Softmax BERT for Polyphone Disambiguation in Mandarin
• Title（参考訳）: g2pW:マンダリンにおけるポリフォン曖昧化のための条件付き重み付きソフトマックスBERT
• Authors: Yi-Chang Chen and Yu-Chuan Chang and Yen-Cheng Chang and Yi-Ren Yeh
• Abstract要約: 多音不明瞭化は、マンダリン・グラテム・音素変換において最も重要な課題である。 本稿では,学習可能なソフトマックスウェイトを適応させて,ポリフォニックな特徴を持つBERTの出力を条件付ける,g2pWという新しい手法を提案する。 実験の結果,g2pWはCPPデータセット上の既存の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 0.3211619859724084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Polyphone disambiguation is the most crucial task in Mandarin grapheme-to-phoneme (g2p) conversion. Previous studies have approached this problem using pre-trained language models, restricted output, and extra information from Part-Of-Speech (POS) tagging. Inspired by these strategies, we propose a novel approach, called g2pW, which adapts learnable softmax-weights to condition the outputs of BERT with the polyphonic character of interest and its POS tagging. Rather than using the hard mask as in previous works, our experiments show that learning a soft-weighting function for the candidate phonemes benefits performance. In addition, our proposed g2pW does not require extra pre-trained POS tagging models while using POS tags as auxiliary features since we train the POS tagging model simultaneously with the unified encoder. Experimental results show that our g2pW outperforms existing methods on the public CPP dataset. All codes, model weights, and a user-friendly package are publicly available.
• Abstract（参考訳）: ポリフォンの曖昧さは、マンダリン・グラデム・トゥ・音素変換(g2p)において最も重要な課題である。 従来の研究では、事前訓練された言語モデル、制限された出力、および Part-Of-Speech (POS) タグ付けからの余分な情報を用いてこの問題にアプローチしてきた。 これらの戦略にインスパイアされたg2pWという新しい手法を提案する。これは学習可能なソフトマックスウェイトを適応させ、BERTの出力にポリフォニックな特徴とPOSタグ付けを付与する。 先行研究のようにハードマスクを使うのではなく,音素候補に対するソフトウェイトリング関数の学習がパフォーマンスに有益であることを示す実験を行った。 さらに,提案したg2pWは,POSタグを補助機能として使用しながら,事前学習したPOSタグモデルを必要としない。 実験の結果,g2pWはCPPデータセット上の既存の手法よりも優れていた。 すべてのコード、モデルウェイト、ユーザフレンドリーなパッケージが公開されている。

関連論文リスト

• Generative Input: Towards Next-Generation Input Methods Paradigm [49.98958865125018]
  我々はGeneInputという新しい生成入力パラダイムを提案する。 すべての入力シナリオと他のインテリジェントな補助入力関数を処理するためにプロンプトを使用し、ユーザーフィードバックでモデルを最適化し、パーソナライズされた結果を提供する。 その結果,FK2C(Full-mode Key-sequence to Characters)タスクにおいて,最先端のパフォーマンスを初めて達成したことを示す。
  論文  参考訳（メタデータ） (2023-11-02T12:01:29Z)
• Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
  ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。 そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。 NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
  論文  参考訳（メタデータ） (2023-06-16T09:40:05Z)
• Prefer to Classify: Improving Text Classifiers via Auxiliary Preference Learning [76.43827771613127]
  本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。 本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T04:04:47Z)
• Masked Part-Of-Speech Model: Does Modeling Long Context Help Unsupervised POS-tagging? [94.68962249604749]
  フレキシブルな依存性モデリングを容易にするために,MPoSM(Masked Part-of-Speech Model)を提案する。 MPoSMは任意のタグ依存をモデル化し、マスクされたPOS再構成の目的を通じてPOS誘導を行うことができる。 英語のPenn WSJデータセットと10の多様な言語を含むユニバーサルツリーバンクの競合的な結果を得た。
  論文  参考訳（メタデータ） (2022-06-30T01:43:05Z)
• r-G2P: Evaluating and Enhancing Robustness of Grapheme to Phoneme Conversion by Controlled noise introducing and Contextual information incorporation [32.75866643254402]
  ニューラルG2Pモデルはスペルミスのようなグラフエムの正書法の変化に対して極めて敏感であることを示す。 雑音の多い学習データを合成するための3つの制御ノイズ導入法を提案する。 文脈情報をベースラインに組み込んで,トレーニングプロセスの安定化のための堅牢なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:29:30Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• Reliable Part-of-Speech Tagging of Historical Corpora through Set-Valued Prediction [21.67895423776014]
  設定値予測の枠組みにおけるPOSタグ付けについて検討する。 最先端のPOSタグをセット値の予測に拡張すると、より正確で堅牢なタグ付けが得られます。
  論文  参考訳（メタデータ） (2020-08-04T07:21:36Z)
• One Model to Pronounce Them All: Multilingual Grapheme-to-Phoneme Conversion With a Transformer Ensemble [0.0]
  モデルアンサンブルを多言語トランスフォーマーと自己学習に応用し、15言語のための高効率なG2Pソリューションを開発するための簡単なアプローチについて述べる。 最良モデルでは14.99ワード誤り率(WER)と3.30音素誤り率(PER)が達成され,共有タスク競合ベースラインよりも大幅に改善された。
  論文  参考訳（メタデータ） (2020-06-23T21:28:28Z)
• Adversarial Transfer Learning for Punctuation Restoration [58.2201356693101]
  句読点予測のためのタスク不変知識を学習するために,逆多タスク学習を導入する。 IWSLT2011データセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2020-04-01T06:19:56Z)
• Machine Learning Approaches for Amharic Parts-of-speech Tagging [0.0]
  アムハラ語における現在のPOSタグのパフォーマンスは、英語や他のヨーロッパの言語で利用可能な現代のPOSタグほど良くない。 この作業の目的は、91%を超えなかったAmharic言語のPOSタグ性能を改善することである。
  論文  参考訳（メタデータ） (2020-01-10T06:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。