論文の概要: Spell Correction for Azerbaijani Language using Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2102.03218v1
- Date: Fri, 5 Feb 2021 15:02:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-08 20:31:07.178341
- Title: Spell Correction for Azerbaijani Language using Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークを用いたアゼルバイジャン語のスペル補正
- Authors: Ahmad Ahmadzade and Saber Malekzadeh
- Abstract要約: 本論文は,アゼルバイジャン語のスペル補正を開発するために,アテンション機構付きシーケンスモデルを用いている。
合計12000の誤りと正しい文対が訓練に使われ、このモデルは実世界の誤文1000語で試験される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spell correction is used to detect and correct orthographic mistakes in
texts. Most of the time, traditional dictionary lookup with string similarity
methods is suitable for the languages that have a less complex structure such
as the English language. However, the Azerbaijani language has a more complex
structure and due to its morphological structure, the derivation of words is
plenty that several words are derived from adding suffices, affixes to the
words. Therefore, in this paper sequence to sequence model with an attention
mechanism is used to develop spelling correction for Azerbaijani. Total 12000
wrong and correct sentence pairs used for training, and the model is tested on
1000 real-world misspelled words and F1-score results are 75% for distance 0,
90% for distance 1, and 96% for distance 2.
- Abstract(参考訳): スペル補正は、テキスト中の正書ミスの検出と修正に使用される。
ほとんどの場合、文字列類似の方法で伝統的な辞書の検索は、英語のようなより複雑な構造を持つ言語に適しています。
しかし、アゼルバイジャン語はより複雑な構造を持ち、その形態的構造のため、単語の派生は、単語に接尾辞や接尾辞を加えることから派生した言葉が豊富である。
そこで本論文では,アゼルバイジャン語のスペル補正を開発するために,アテンション機構付きシーケンスモデルを用いた。
合計12000の誤りと正しい文ペアがトレーニングに使用され、モデルは1000の現実世界のミススペルされた単語でテストされ、F1スコアの結果は距離0で75%、距離1で90%、距離2で96%です。
関連論文リスト
- Automatic Real-word Error Correction in Persian Text [0.0]
本稿では,ペルシャ語テキストにおける高精度かつ効率的な実単語誤り訂正のための最先端手法を提案する。
我々は,誤り検出と訂正の有効性を高めるために,意味解析,特徴選択,高度な分類器を用いる。
本手法は,検出段階で96.6%,補正時に99.1%の精度でF測定を行う。
論文 参考訳(メタデータ) (2024-07-20T07:50:52Z) - PERCORE: A Deep Learning-Based Framework for Persian Spelling Correction with Phonetic Analysis [0.0]
本研究では,ディープラーニング技術と音声解析をシームレスに統合したペルシャ語スペル訂正システムを提案する。
提案手法は,文脈分析と音韻的洞察を効果的に組み合わせ,非単語と実単語の綴り誤りを正確に補正する。
広帯域データセットの徹底的な評価により,既存手法と比較してシステムの性能が向上することを確認した。
論文 参考訳(メタデータ) (2024-07-20T07:41:04Z) - AraSpell: A Deep Learning Approach for Arabic Spelling Correction [0.0]
AraSpellは、異なるSeq2seqモデルアーキテクチャを用いたアラビア文字の綴り補正のためのフレームワークである。
690万件以上のアラビア語の文で訓練された。
論文 参考訳(メタデータ) (2024-05-11T10:36:28Z) - SpellMapper: A non-autoregressive neural spellchecker for ASR
customization with candidate retrieval based on n-gram mappings [76.87664008338317]
文脈スペル補正モデルは、音声認識を改善するために浅い融合に代わるものである。
ミススペルn-gramマッピングに基づく候補探索のための新しいアルゴリズムを提案する。
Spoken Wikipediaの実験では、ベースラインのASRシステムに比べて21.4%のワードエラー率の改善が見られた。
論文 参考訳(メタデータ) (2023-06-04T10:00:12Z) - Persian Typographical Error Type Detection Using Deep Neural Networks on Algorithmically-Generated Misspellings [2.2503811834154104]
タイポグラフィーによるペルシャのエラータイプ検出は比較的調査の少ない地域である。
本稿では,ペルシャ語文の誤字を検出するための説得力のあるアプローチを提案する。
最終手法の結果は競争力が高く、精度は97.62%、精度は98.83%、リコールは98.61%、速度は他を上回った。
論文 参考訳(メタデータ) (2023-05-19T15:05:39Z) - DPCSpell: A Transformer-based Detector-Purificator-Corrector Framework for Spelling Error Correction of Bangla and Resource Scarce Indic Languages [2.5874041837241304]
スペル訂正(スペルりょう、英: Spelling error correction)は、テキスト中のミスペル語を識別し、修正するタスクである。
バングラ語と資源不足のIndic言語におけるスペルエラー訂正の取り組みは、ルールベース、統計、機械学習ベースの手法に重点を置いていた。
本稿では,従来の問題に対処し,デノナイジング変換器をベースとした新しい検出器-ピューリフィエータ-コレクタDPCを提案する。
論文 参考訳(メタデータ) (2022-11-07T17:59:05Z) - Improving Pre-trained Language Models with Syntactic Dependency
Prediction Task for Chinese Semantic Error Recognition [52.55136323341319]
既存の中国語のテキスト誤り検出は主にスペルと単純な文法的誤りに焦点を当てている。
中国の意味的誤りは、人間が容易に認識できないほど過小評価され、複雑である。
論文 参考訳(メタデータ) (2022-04-15T13:55:32Z) - NeuSpell: A Neural Spelling Correction Toolkit [88.79419580807519]
NeuSpellは、英語でスペル修正を行うためのオープンソースのツールキットである。
10の異なるモデルで構成され、複数のソースからのミススペルをベンチマークする。
我々は、逆エンジニアリング分離ミススペルによって合成的に構築された文脈におけるスペルエラーを用いてニューラルネットワークを訓練する。
論文 参考訳(メタデータ) (2020-10-21T15:53:29Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳(メタデータ) (2020-05-12T11:01:44Z) - Phonotactic Complexity and its Trade-offs [73.10961848460613]
この単純な測度により、言語間のエントロピーを比較することができる。
音素あたりのビット数と単語の平均長との間には-0.74の非常に強い負の相関関係を示す。
論文 参考訳(メタデータ) (2020-05-07T21:36:59Z) - Towards Zero-shot Learning for Automatic Phonemic Transcription [82.9910512414173]
より難しい問題は、トレーニングデータをゼロにする言語のための音素変換器を構築することだ。
我々のモデルは、トレーニングデータなしで、ターゲット言語で見知らぬ音素を認識できる。
標準的な多言語モデルよりも平均して7.7%の音素誤り率を実現している。
論文 参考訳(メタデータ) (2020-02-26T20:38:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。