論文の概要: edATLAS: An Efficient Disambiguation Algorithm for Texting in Languages
with Abugida Scripts
- arxiv url: http://arxiv.org/abs/2101.03916v2
- Date: Mon, 29 Mar 2021 19:07:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-11 11:37:14.097070
- Title: edATLAS: An Efficient Disambiguation Algorithm for Texting in Languages
with Abugida Scripts
- Title(参考訳): edATLAS: Abugidaスクリプトを持つ言語におけるテキストの効率的な曖昧化アルゴリズム
- Authors: Sourav Ghosh, Sourabh Vasant Gothe, Chandramouli Sanchi, Barath Raj
Kandur Raja
- Abstract要約: アブティダ(abugida)は、各音節を単一の子音またはタイポグラフィーのリガチュアで表現する音素表記システムである。
本稿では, あいまいな表現アルゴリズムを提案し, バグダ記述システムを用いた2つの新しい入力方式でその有用性を示す。
ヒンディー語、ベンガル語、タイ語での入力速度は19.49%、25.13%、14.89%向上した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Abugida refers to a phonogram writing system where each syllable is
represented using a single consonant or typographic ligature, along with a
default vowel or optional diacritic(s) to denote other vowels. However, texting
in these languages has some unique challenges in spite of the advent of devices
with soft keyboard supporting custom key layouts. The number of characters in
these languages is large enough to require characters to be spread over
multiple views in the layout. Having to switch between views many times to type
a single word hinders the natural thought process. This prevents popular usage
of native keyboard layouts. On the other hand, supporting romanized scripts
(native words transcribed using Latin characters) with language model based
suggestions is also set back by the lack of uniform romanization rules.
To this end, we propose a disambiguation algorithm and showcase its
usefulness in two novel mutually non-exclusive input methods for languages
natively using the abugida writing system: (a) disambiguation of ambiguous
input for abugida scripts, and (b) disambiguation of word variants in romanized
scripts. We benchmark these approaches using public datasets, and show an
improvement in typing speed by 19.49%, 25.13%, and 14.89%, in Hindi, Bengali,
and Thai, respectively, using Ambiguous Input, owing to the human ease of
locating keys combined with the efficiency of our inference method. Our Word
Variant Disambiguation (WDA) maps valid variants of romanized words, previously
treated as Out-of-Vocab, to a vocabulary of 100k words with high accuracy,
leading to an increase in Error Correction F1 score by 10.03% and Next Word
Prediction (NWP) by 62.50% on average.
- Abstract(参考訳): アブティダは、それぞれの音節が1つの子音またはタイポグラフィーのリガチュアで表され、他の母音を表すためにデフォルト母音または任意のダイアクリット(s)と共に表される音韻表記体系を指す。
しかし、これらの言語でのテキスト入力は、ソフトキーボードがカスタムキーレイアウトをサポートするデバイスの出現にもかかわらず、いくつかのユニークな課題を抱えている。
これらの言語の文字数は、レイアウト内の複数のビューにまたがるキャラクタを必要とするほどである。
一つの単語をタイプするためにビューを何度も切り替えなければならないことは、自然な思考プロセスを妨げる。
これにより、ネイティブキーボードレイアウトの一般的な使用が防止される。
一方で、言語モデルに基づく提案によるローマ字化スクリプト(ラテン文字で書き起こされるネイティブな単語)のサポートも、一様ローマ字化規則の欠如によって実現されている。
そこで本研究では,アビギダ文字の曖昧な入力の曖昧化と,(b)ローマ字の単語変形の曖昧化という,アビギダ文字体系を母語とする2つの新しい非排他的入力法において,その有用性を示す。
我々は、これらのアプローチを公開データセットを用いてベンチマークし、ヒンディー語、ベンガル語、タイ語でそれぞれ19.49%、25.13%、14.89%のタイ語の入力速度の改善を示す。
我々の単語可変不明瞭度(WDA)は、以前Out-of-Vocabとして扱われていたロマン語を100k語の語彙に高精度にマッピングし、誤り訂正F1のスコアが10.03%増加し、Next Word Prediction(NWP)は平均62.50%上昇した。
関連論文リスト
- Take the Hint: Improving Arabic Diacritization with
Partially-Diacritized Text [4.863310073296471]
本稿では,任意のダイアクリティカルティクスを効果的にサポートするマルチソースモデルである2SDiacを提案する。
また、ランダムマスキングのレベルが異なる入力において、与えられたダイアクリティカルを活用できるトレーニングスキームであるガイドドラーニングを導入する。
論文 参考訳(メタデータ) (2023-06-06T10:18:17Z) - SpellMapper: A non-autoregressive neural spellchecker for ASR
customization with candidate retrieval based on n-gram mappings [76.87664008338317]
文脈スペル補正モデルは、音声認識を改善するために浅い融合に代わるものである。
ミススペルn-gramマッピングに基づく候補探索のための新しいアルゴリズムを提案する。
Spoken Wikipediaの実験では、ベースラインのASRシステムに比べて21.4%のワードエラー率の改善が見られた。
論文 参考訳(メタデータ) (2023-06-04T10:00:12Z) - Better Than Whitespace: Information Retrieval for Languages without
Custom Tokenizers [48.036317742487796]
語彙マッチング検索アルゴリズムのための新しいトークン化手法を提案する。
教師なしのデータから自動的に構築できるWordPieceトークンライザを使用します。
以上の結果から,mBERTトークン化器は,ほとんどの言語において,"アウト・オブ・ザ・ボックス(out of the box)"を検索するための強い関連信号を提供することがわかった。
論文 参考訳(メタデータ) (2022-10-11T14:32:46Z) - Dict-TTS: Learning to Pronounce with Prior Dictionary Knowledge for
Text-to-Speech [88.22544315633687]
ポリホンの曖昧さは, 音声合成システムにおいて, 自然なテキストシーケンスから正確な発音知識を抽出することを目的としている。
オンラインウェブサイト辞書を用いた意味認識型テキスト音声合成モデルであるDict-TTSを提案する。
3つの言語による実験結果から,我々のモデルは発音精度においていくつかの強いベースラインモデルより優れていることが示された。
論文 参考訳(メタデータ) (2022-06-05T10:50:34Z) - Is Word Error Rate a good evaluation metric for Speech Recognition in
Indic Languages? [0.0]
自動音声認識(ASR)における誤り率計算のための新しい手法を提案する。
この新しいメートル法は、半分の文字を持ち、同じ文字を異なる形式で書くことができる言語のためのものである。
私たちは、インディ・コンテクストの主要な言語の一つであるヒンディー語で方法論を実装しています。
論文 参考訳(メタデータ) (2022-03-30T18:32:08Z) - Handling Compounding in Mobile Keyboard Input [7.309321705635677]
本稿では,形態的にリッチな言語におけるモバイルユーザのタイピング体験を改善するためのフレームワークを提案する。
スマートフォンのキーボードは典型的には、入力復号化、修正、予測といった言語モデルに依存している機能をサポートしている。
本手法は, 様々な複合言語において, 単語誤り率を約20%削減することを示す。
論文 参考訳(メタデータ) (2022-01-17T15:28:58Z) - Phoneme Recognition through Fine Tuning of Phonetic Representations: a
Case Study on Luhya Language Varieties [77.2347265289855]
音韻アノテーションに基づく多言語認識手法であるAllosaurus を用いた音素認識に焦点を当てた。
挑戦的な実世界シナリオで評価するために,我々は,ケニア西部とウガンダ東部のluhya言語クラスタの2つの種類であるbukusuとsaamiaの音声認識データセットをキュレートした。
私たちは、アロサウルスの微調整がわずか100発話であっても、電話のエラー率を大幅に改善することが分かりました。
論文 参考訳(メタデータ) (2021-04-04T15:07:55Z) - Disentangling Homophemes in Lip Reading using Perplexity Analysis [10.262299768603894]
本稿では,ジェネレーティブ・プレトレーニング・トランスの新しい応用法を提案する。
ヴィセムの形で視覚音声を、単語や文の形で言語に変換する言語モデルとして機能する。
ネットワークは最適なパープレキシティを探索して、ビセメ・ツー・ワードマッピングを実行する。
論文 参考訳(メタデータ) (2020-11-28T12:12:17Z) - Normalizing Text using Language Modelling based on Phonetics and String
Similarity [0.0]
テキスト正規化を行うための新しい頑健なモデルを提案する。
テキスト中の正規化されていない単語を根本形に置き換えようとする2つのユニークなマスキング戦略を提案する。
本手法の精度は86.7%,83.2%であり,本手法がテキスト正規化に有効であることを示す。
論文 参考訳(メタデータ) (2020-06-25T00:42:39Z) - Phonotactic Complexity and its Trade-offs [73.10961848460613]
この単純な測度により、言語間のエントロピーを比較することができる。
音素あたりのビット数と単語の平均長との間には-0.74の非常に強い負の相関関係を示す。
論文 参考訳(メタデータ) (2020-05-07T21:36:59Z) - On the Importance of Word Order Information in Cross-lingual Sequence
Labeling [80.65425412067464]
ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。
本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
論文 参考訳(メタデータ) (2020-01-30T03:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。