論文の概要: Spell Correction for Azerbaijani Language using Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2102.03218v1
- Date: Fri, 5 Feb 2021 15:02:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-08 20:31:07.178341
- Title: Spell Correction for Azerbaijani Language using Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークを用いたアゼルバイジャン語のスペル補正
- Authors: Ahmad Ahmadzade and Saber Malekzadeh
- Abstract要約: 本論文は,アゼルバイジャン語のスペル補正を開発するために,アテンション機構付きシーケンスモデルを用いている。
合計12000の誤りと正しい文対が訓練に使われ、このモデルは実世界の誤文1000語で試験される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spell correction is used to detect and correct orthographic mistakes in
texts. Most of the time, traditional dictionary lookup with string similarity
methods is suitable for the languages that have a less complex structure such
as the English language. However, the Azerbaijani language has a more complex
structure and due to its morphological structure, the derivation of words is
plenty that several words are derived from adding suffices, affixes to the
words. Therefore, in this paper sequence to sequence model with an attention
mechanism is used to develop spelling correction for Azerbaijani. Total 12000
wrong and correct sentence pairs used for training, and the model is tested on
1000 real-world misspelled words and F1-score results are 75% for distance 0,
90% for distance 1, and 96% for distance 2.
- Abstract(参考訳): スペル補正は、テキスト中の正書ミスの検出と修正に使用される。
ほとんどの場合、文字列類似の方法で伝統的な辞書の検索は、英語のようなより複雑な構造を持つ言語に適しています。
しかし、アゼルバイジャン語はより複雑な構造を持ち、その形態的構造のため、単語の派生は、単語に接尾辞や接尾辞を加えることから派生した言葉が豊富である。
そこで本論文では,アゼルバイジャン語のスペル補正を開発するために,アテンション機構付きシーケンスモデルを用いた。
合計12000の誤りと正しい文ペアがトレーニングに使用され、モデルは1000の現実世界のミススペルされた単語でテストされ、F1スコアの結果は距離0で75%、距離1で90%、距離2で96%です。
関連論文リスト
- Lenient Evaluation of Japanese Speech Recognition: Modeling Naturally
Occurring Spelling Inconsistency [8.888638284299736]
我々は,語彙資源,日本語テキスト処理システム,ニューラルマシン翻訳モデルの組み合わせを用いて,参照転写の可塑性レスペリングの格子を作成する。
提案手法は,単語の有効な代替綴りを選択するシステムにペナルティを課さないため,タスクに応じてCERを2.4%~3.1%削減する。
論文 参考訳(メタデータ) (2023-06-07T15:39:02Z) - SpellMapper: A non-autoregressive neural spellchecker for ASR
customization with candidate retrieval based on n-gram mappings [76.87664008338317]
文脈スペル補正モデルは、音声認識を改善するために浅い融合に代わるものである。
ミススペルn-gramマッピングに基づく候補探索のための新しいアルゴリズムを提案する。
Spoken Wikipediaの実験では、ベースラインのASRシステムに比べて21.4%のワードエラー率の改善が見られた。
論文 参考訳(メタデータ) (2023-06-04T10:00:12Z) - Persian Typographical Error Type Detection Using Deep Neural Networks on
Algorithmically-Generated Misspellings [2.6585272566200144]
タイポグラフィーによるペルシャのエラータイプ検出は比較的調査の少ない地域である。
本稿では,ペルシャ語文の誤字を検出するための説得力のあるアプローチを提案する。
最終手法の結果は競争力が高く、精度は97.62%、精度は98.83%、リコールは98.61%、速度は他を上回った。
論文 参考訳(メタデータ) (2023-05-19T15:05:39Z) - Improving Pre-trained Language Models with Syntactic Dependency
Prediction Task for Chinese Semantic Error Recognition [52.55136323341319]
既存の中国語のテキスト誤り検出は主にスペルと単純な文法的誤りに焦点を当てている。
中国の意味的誤りは、人間が容易に認識できないほど過小評価され、複雑である。
論文 参考訳(メタデータ) (2022-04-15T13:55:32Z) - Is Word Error Rate a good evaluation metric for Speech Recognition in
Indic Languages? [0.0]
自動音声認識(ASR)における誤り率計算のための新しい手法を提案する。
この新しいメートル法は、半分の文字を持ち、同じ文字を異なる形式で書くことができる言語のためのものである。
私たちは、インディ・コンテクストの主要な言語の一つであるヒンディー語で方法論を実装しています。
論文 参考訳(メタデータ) (2022-03-30T18:32:08Z) - Misspelling Correction with Pre-trained Contextual Language Model [0.0]
BERTと編集距離アルゴリズムに基づく2つの実験を行い、候補補正のランキングと選択を行います。
実験の結果,BERTの文脈単語埋め込みと編集距離を適切に組み合わせることで,スペルエラーを効果的に修正できることが判明した。
論文 参考訳(メタデータ) (2021-01-08T20:11:01Z) - edATLAS: An Efficient Disambiguation Algorithm for Texting in Languages
with Abugida Scripts [0.0]
アブティダ(abugida)は、各音節を単一の子音またはタイポグラフィーのリガチュアで表現する音素表記システムである。
本稿では, あいまいな表現アルゴリズムを提案し, バグダ記述システムを用いた2つの新しい入力方式でその有用性を示す。
ヒンディー語、ベンガル語、タイ語での入力速度は19.49%、25.13%、14.89%向上した。
論文 参考訳(メタデータ) (2021-01-05T03:16:34Z) - NeuSpell: A Neural Spelling Correction Toolkit [88.79419580807519]
NeuSpellは、英語でスペル修正を行うためのオープンソースのツールキットである。
10の異なるモデルで構成され、複数のソースからのミススペルをベンチマークする。
我々は、逆エンジニアリング分離ミススペルによって合成的に構築された文脈におけるスペルエラーを用いてニューラルネットワークを訓練する。
論文 参考訳(メタデータ) (2020-10-21T15:53:29Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳(メタデータ) (2020-05-12T11:01:44Z) - Phonotactic Complexity and its Trade-offs [73.10961848460613]
この単純な測度により、言語間のエントロピーを比較することができる。
音素あたりのビット数と単語の平均長との間には-0.74の非常に強い負の相関関係を示す。
論文 参考訳(メタデータ) (2020-05-07T21:36:59Z) - Towards Zero-shot Learning for Automatic Phonemic Transcription [82.9910512414173]
より難しい問題は、トレーニングデータをゼロにする言語のための音素変換器を構築することだ。
我々のモデルは、トレーニングデータなしで、ターゲット言語で見知らぬ音素を認識できる。
標準的な多言語モデルよりも平均して7.7%の音素誤り率を実現している。
論文 参考訳(メタデータ) (2020-02-26T20:38:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。