論文の概要: Hierarchical Transformer Encoders for Vietnamese Spelling Correction
- arxiv url: http://arxiv.org/abs/2105.13578v1
- Date: Fri, 28 May 2021 04:09:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 13:40:50.047730
- Title: Hierarchical Transformer Encoders for Vietnamese Spelling Correction
- Title(参考訳): ベトナムスペル訂正のための階層型変圧器エンコーダ
- Authors: Hieu Tran, Cuong V. Dinh, Long Phan, and Son T. Nguyen
- Abstract要約: ベトナム語スペル訂正問題に対する階層変換器モデルを提案する。
このモデルは、複数のトランスフォーマーエンコーダで構成され、文字レベルと単語レベルの両方を使用してエラーを検出し、修正する。
- 参考スコア(独自算出の注目度): 1.0779600811805266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a Hierarchical Transformer model for Vietnamese
spelling correction problem. The model consists of multiple Transformer
encoders and utilizes both character-level and word-level to detect errors and
make corrections. In addition, to facilitate future work in Vietnamese spelling
correction tasks, we propose a realistic dataset collected from real-life texts
for the problem. We compare our method with other methods and publicly
available systems. The proposed method outperforms all of the contemporary
methods in terms of recall, precision, and f1-score. A demo version is publicly
available.
- Abstract(参考訳): 本稿では,ベトナム語綴り補正問題に対する階層的トランスフォーマーモデルを提案する。
モデルは複数のトランスフォーマエンコーダで構成され、文字レベルと単語レベルの両方を使用してエラーを検出し、訂正を行う。
また,ベトナム語スペル訂正作業における今後の作業を容易にするために,実生活テキストから収集した現実的なデータセットを提案する。
提案手法を他の方法や公開システムと比較する。
提案手法は,リコール法,精度法,f1-score法において,従来の手法よりも優れていた。
デモ版が公開されている。
関連論文リスト
- EdaCSC: Two Easy Data Augmentation Methods for Chinese Spelling Correction [0.0]
Chinese Spelling Correction (CSC) は、音韻的・視覚的類似性に起因する中国語文の綴り誤りを検出し、訂正することを目的としている。
これらの制約に対処する2つのデータ拡張手法を提案する。
まず,長文を短い文に分割するか,複数文字の文の型を減らしてデータセットを増強する。
論文 参考訳(メタデータ) (2024-09-08T14:29:10Z) - A Combination of BERT and Transformer for Vietnamese Spelling Correction [0.0]
ベトナム語ではまだ実装されていない。
我々のモデルは、Google Docs Spell Checkingツールと同様に、他のアプローチよりも優れており、このタスクで86.24 BLEUスコアを得る。
論文 参考訳(メタデータ) (2024-05-04T05:24:19Z) - LM-Combiner: A Contextual Rewriting Model for Chinese Grammatical Error Correction [49.0746090186582]
過剰補正は中国の文法的誤り訂正(CGEC)タスクにおいて重要な問題である。
モデルアンサンブル法による最近の研究は、過剰補正を効果的に軽減し、ECCシステムの精度を向上させることができる。
本稿では,GECシステム出力の過度補正をモデルアンサンブルなしで直接修正できる書き換えモデルLM-Combinerを提案する。
論文 参考訳(メタデータ) (2024-03-26T06:12:21Z) - Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。
現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。
本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
論文 参考訳(メタデータ) (2023-08-17T06:04:28Z) - Towards Fine-Grained Information: Identifying the Type and Location of
Translation Errors [80.22825549235556]
既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。
我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。
実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
論文 参考訳(メタデータ) (2023-02-17T16:20:33Z) - An Error-Guided Correction Model for Chinese Spelling Error Correction [13.56600372085612]
中国語の綴り訂正を改善するための誤り誘導補正モデル(EGCM)を提案する。
我々のモデルは、最先端のアプローチに対する優れた性能を顕著なマージンで達成する。
論文 参考訳(メタデータ) (2023-01-16T09:27:45Z) - VSEC: Transformer-based Model for Vietnamese Spelling Correction [0.19116784879310028]
ベトナム語のスペル誤りを訂正する新しい手法を提案する。
深層学習モデルを用いて誤字誤りや誤字誤りの問題に対処する。
実験の結果,86.8%の誤差が検出され,81.5%の誤りが修正された。
論文 参考訳(メタデータ) (2021-11-01T00:55:32Z) - Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。
我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。
本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
論文 参考訳(メタデータ) (2021-08-31T19:39:55Z) - Spelling Correction with Denoising Transformer [0.0]
本稿では,検索クエリや個々の単語など,短い入力文字列に対してスペル補正を行う手法を提案する。
その核となるのは、人間が示すエラーパターンに密接に従う人工的タイプミスを生成する手順である。
この手順は、トランスアーキテクチャに基づく生産スペル補正モデルのトレーニングに使用されます。
論文 参考訳(メタデータ) (2021-05-12T21:35:18Z) - Neural String Edit Distance [77.72325513792981]
文字列対分類とシーケンス生成のためのニューラルストリング編集距離モデルを提案する。
オリジナルの期待最大化学習編集距離アルゴリズムを微分可能な損失関数に変更します。
ひとつのフレームワークでパフォーマンスと解釈性をトレードオフできることを示します。
論文 参考訳(メタデータ) (2021-04-16T22:16:47Z) - Improving Translation Robustness with Visual Cues and Error Correction [58.97421756225425]
ノイズの多いテキストに対する翻訳の堅牢性を改善するビジュアルコンテキストのアイデアを紹介します。
また,誤り訂正を補助タスクとして扱うことで,新しい誤り訂正訓練手法を提案する。
論文 参考訳(メタデータ) (2021-03-12T15:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。