論文の概要: A Multitask Learning Approach for Diacritic Restoration
- arxiv url: http://arxiv.org/abs/2006.04016v1
- Date: Sun, 7 Jun 2020 01:20:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 07:21:05.730263
- Title: A Multitask Learning Approach for Diacritic Restoration
- Title(参考訳): 対話的復元のためのマルチタスク学習手法
- Authors: Sawsan Alqahtani and Ajay Mishra and Mona Diab
- Abstract要約: アラビア語のような多くの言語では、発音と意味を区別するためにダイアクリティカルが用いられる。
このようなダイアクリティカル語はテキストで省略されることが多く、単語の発音や意味の数が増加する。
我々は、共同モデリングにおいて考慮すべきタスクに十分なデータ資源があるため、ケーススタディとしてアラビア語を使用します。
- 参考スコア(独自算出の注目度): 21.288912928687186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many languages like Arabic, diacritics are used to specify pronunciations
as well as meanings. Such diacritics are often omitted in written text,
increasing the number of possible pronunciations and meanings for a word. This
results in a more ambiguous text making computational processing on such text
more difficult. Diacritic restoration is the task of restoring missing
diacritics in the written text. Most state-of-the-art diacritic restoration
models are built on character level information which helps generalize the
model to unseen data, but presumably lose useful information at the word level.
Thus, to compensate for this loss, we investigate the use of multi-task
learning to jointly optimize diacritic restoration with related NLP problems
namely word segmentation, part-of-speech tagging, and syntactic diacritization.
We use Arabic as a case study since it has sufficient data resources for tasks
that we consider in our joint modeling. Our joint models significantly
outperform the baselines and are comparable to the state-of-the-art models that
are more complex relying on morphological analyzers and/or a lot more data
(e.g. dialectal data).
- Abstract(参考訳): アラビア語のような多くの言語では、発音や意味を特定するのに用いている。
このようなダイアクリティックは、しばしば文章中に省略され、単語の発音や意味を増加させる。
これにより、そのようなテキストの計算処理をより困難にする曖昧なテキストが得られる。
ダイアクリティック修復(diacritic restoration)は、文章に欠けているダイアクリティックを復元する作業である。
ほとんどの最先端のダイアクリティカルな復元モデルは、文字レベルの情報に基づいて構築されており、モデルが見えないデータに一般化するのに役立つが、おそらく単語レベルで有用な情報が失われる。
そこで本研究では,この損失を補うために,複数タスク学習を用いて単語分割,パート・オブ・音声タグ付け,構文的ダイアクリティカル化という,関連するNLP問題と共同でダイアクリティカルリカバリを行う。
共同モデリングで考慮するタスクに十分なデータリソースがあるため、アラビア語をケーススタディとして使用しています。
私たちのジョイントモデルはベースラインを著しく上回っており、形態素解析や多くのデータ(例えば方言データ)に依存するより複雑な最先端モデルに匹敵するものです。
関連論文リスト
- Automatic Restoration of Diacritics for Speech Data Sets [2.0380389539573662]
パラレル音声を用いた音声データに適用することで,自動発音復元の性能向上の可能性を検討する。
我々は、比較的少量のアラビア語音声データに基づいて、事前学習したWhisper ASRモデルを用いて、音声発話に粗い発音書き起こしを生成する。
提案モデルでは、同一領域内および2つのドメイン外テストセットにおいて、少なくとも5%のダイアクリティカルエラー率の絶対的な削減を図りながら、同等のテキストのみのモデルと比較して、ダイアクリティカルリカバリ性能を一貫して改善する。
論文 参考訳(メタデータ) (2023-11-15T19:24:54Z) - Take the Hint: Improving Arabic Diacritization with
Partially-Diacritized Text [4.863310073296471]
本稿では,任意のダイアクリティカルティクスを効果的にサポートするマルチソースモデルである2SDiacを提案する。
また、ランダムマスキングのレベルが異なる入力において、与えられたダイアクリティカルを活用できるトレーニングスキームであるガイドドラーニングを導入する。
論文 参考訳(メタデータ) (2023-06-06T10:18:17Z) - Learning to pronounce as measuring cross lingual joint
orthography-phonology complexity [0.0]
本稿では,グラファイム対音素(g2p)の音素翻訳のタスクをモデル化することにより,言語が「発音しにくい」理由について検討する。
発音の学習に関して、より簡単で難しい言語を区別する特定の特徴が浮かび上がっていることを示す。
論文 参考訳(メタデータ) (2022-01-29T14:44:39Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z) - On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。
改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。
我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
論文 参考訳(メタデータ) (2021-10-15T21:41:16Z) - Sentiment analysis in tweets: an assessment study from classical to
modern text representation models [59.107260266206445]
Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。
非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。
本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
論文 参考訳(メタデータ) (2021-05-29T21:05:28Z) - On-Device Language Identification of Text in Images using Diacritic
Characters [0.0]
発音文字は、与えられた言語をかなり高い精度で識別する上で、適切かつ重要な手がかりを提供する、一意の文字集合と見なすことができる。
我々は,任意の自動環境下での光学的文字認識(OCR)性能を向上させるために,発音文字の存在を利用して画像中のテキストの言語を特定することを目的とする。
論文 参考訳(メタデータ) (2020-11-10T14:10:06Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z) - Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。
我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。
我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
論文 参考訳(メタデータ) (2020-08-21T20:59:34Z) - Improving Yor\`ub\'a Diacritic Restoration [3.301896537513352]
ヨルバ語(Yorub'a)は西アフリカで広く話されている言語で、書記体系は正書法や音節の発音に富んでいる。
ダイアクリティカルマークは、デバイスやアプリケーションのサポートの制限や、適切な使用に関する一般的な教育のため、電子テキストから除外されることが多い。
事前訓練されたモデル、データセット、ソースコードはすべて、Yorub'a言語技術への取り組みを進めるためのオープンソースプロジェクトとしてリリースされた。
論文 参考訳(メタデータ) (2020-03-23T22:07:15Z) - Towards Zero-shot Learning for Automatic Phonemic Transcription [82.9910512414173]
より難しい問題は、トレーニングデータをゼロにする言語のための音素変換器を構築することだ。
我々のモデルは、トレーニングデータなしで、ターゲット言語で見知らぬ音素を認識できる。
標準的な多言語モデルよりも平均して7.7%の音素誤り率を実現している。
論文 参考訳(メタデータ) (2020-02-26T20:38:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。