論文の概要: A Comprehensive Approach to Misspelling Correction with BERT and Levenshtein Distance

• arxiv url: http://arxiv.org/abs/2407.17383v1
• Date: Wed, 24 Jul 2024 16:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 13:15:22.824416
• Title: A Comprehensive Approach to Misspelling Correction with BERT and Levenshtein Distance
• Title（参考訳）: BERTとLevenshtein距離による誤り訂正に対する包括的アプローチ
• Authors: Amirreza Naziri, Hossein Zeinali,
• Abstract要約: 最も多い書き込みエラーのうち、スペルミスは、様々な要因によって頻繁に発生する。 本研究の目的は,ニューラルネットワークを用いてテキスト中の多様な綴り誤りを特定し,修正することである。
• 参考スコア（独自算出の注目度）: 1.7000578646860536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Writing, as an omnipresent form of human communication, permeates nearly every aspect of contemporary life. Consequently, inaccuracies or errors in written communication can lead to profound consequences, ranging from financial losses to potentially life-threatening situations. Spelling mistakes, among the most prevalent writing errors, are frequently encountered due to various factors. This research aims to identify and rectify diverse spelling errors in text using neural networks, specifically leveraging the Bidirectional Encoder Representations from Transformers (BERT) masked language model. To achieve this goal, we compiled a comprehensive dataset encompassing both non-real-word and real-word errors after categorizing different types of spelling mistakes. Subsequently, multiple pre-trained BERT models were employed. To ensure optimal performance in correcting misspelling errors, we propose a combined approach utilizing the BERT masked language model and Levenshtein distance. The results from our evaluation data demonstrate that the system presented herein exhibits remarkable capabilities in identifying and rectifying spelling mistakes, often surpassing existing systems tailored for the Persian language.
• Abstract（参考訳）: 人間のコミュニケーションの全体像としての著作は、現代生活のほぼ全ての側面に浸透している。 その結果、文書によるコミュニケーションの不正確さや誤りは、金銭的損失から生命を脅かす可能性のある状況まで、重大な結果をもたらす可能性がある。 最も多い書き込みエラーのうち、スペルミスは、様々な要因によってしばしば発生する。 本研究の目的は、ニューラルネットワークを用いてテキスト中の多様なスペルエラーを特定し、修正することであり、特に、変換器による双方向エンコーダ表現(BERT)マスキング言語モデルを活用することである。 この目的を達成するために、異なる種類の綴りミスを分類した後、非実単語と実単語の誤りを包含する包括的なデータセットをコンパイルした。 その後、複数の事前訓練されたBERTモデルが採用された。 誤り訂正における最適性能を確保するため,BERTマスキング言語モデルとLevenshtein距離を用いた組み合わせアプローチを提案する。 評価データから得られた結果から,ペルシャ語に適合する既存のシステムを上回る,スペルミスの特定と修正に優れた能力を示した。

関連論文リスト

• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• A Coin Has Two Sides: A Novel Detector-Corrector Framework for Chinese Spelling Correction [79.52464132360618]
  中国語のSpelling Correction(CSC)は、自然言語処理(NLP)の基本課題である。 本稿では,エラー検出・相関器の枠組みに基づく新しい手法を提案する。 我々の検出器は2つのエラー検出結果を得るように設計されており、それぞれ高精度とリコールが特徴である。
  論文  参考訳（メタデータ） (2024-09-06T09:26:45Z)
• Detecting Errors through Ensembling Prompts (DEEP): An End-to-End LLM Framework for Detecting Factual Errors [11.07539342949602]
  本稿では,テキスト要約における事実誤り検出のためのエンドツーエンドフレームワークを提案する。 我々のフレームワークは、様々なLCMプロンプトを使用して、事実の矛盾を識別する。 我々は、アンサンブルされたモデルを校正し、テキストが実際に一貫した、あるいは幻覚のない、経験的に正確な確率を生成する。
  論文  参考訳（メタデータ） (2024-06-18T18:59:37Z)
• A Methodology for Generative Spelling Correction via Natural Spelling Errors Emulation across Multiple Domains and Languages [39.75847219395984]
  本稿では,英語とロシア語でテストした生成スペル補正法について述べる。 本研究では,これらの誤りを正しい文でエミュレートして生成モデルの事前訓練手順を効果的に強化する方法について検討する。 SAGE(Spell check via Augmentation and Generative Distribution Emulation)を紹介します。
  論文  参考訳（メタデータ） (2023-08-18T10:07:28Z)
• Persian Typographical Error Type Detection Using Deep Neural Networks on Algorithmically-Generated Misspellings [2.2503811834154104]
  タイポグラフィーによるペルシャのエラータイプ検出は比較的調査の少ない地域である。 本稿では,ペルシャ語文の誤字を検出するための説得力のあるアプローチを提案する。 最終手法の結果は競争力が高く、精度は97.62%、精度は98.83%、リコールは98.61%、速度は他を上回った。
  論文  参考訳（メタデータ） (2023-05-19T15:05:39Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Scarecrow: A Framework for Scrutinizing Machine Text [69.26985439191151]
  我々はScarecrowと呼ばれる新しい構造化されたクラウドソースエラーアノテーションスキーマを導入する。 Scarecrowは1.3kの人文と機械が生成する英語ニューステキストの13kのアノテーションを収集する。 これらの結果は,現在および将来のテキスト生成システムの評価において,Scarecrowアノテーションの価値を示すものである。
  論文  参考訳（メタデータ） (2021-07-02T22:37:03Z)
• Misspelling Correction with Pre-trained Contextual Language Model [0.0]
  BERTと編集距離アルゴリズムに基づく2つの実験を行い、候補補正のランキングと選択を行います。 実験の結果,BERTの文脈単語埋め込みと編集距離を適切に組み合わせることで,スペルエラーを効果的に修正できることが判明した。
  論文  参考訳（メタデータ） (2021-01-08T20:11:01Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)
• Towards Minimal Supervision BERT-based Grammar Error Correction [81.90356787324481]
  我々は、事前訓練された言語モデルからコンテキスト情報を取り入れて、アノテーションを活用し、多言語シナリオの恩恵を得ようとしている。 その結果、文法的誤り訂正タスクにおいて、変換器(BERT)からの双方向表現の強い可能性を示す。
  論文  参考訳（メタデータ） (2020-01-10T15:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。