Fugu-MT 論文翻訳(概要): A Combination of BERT and Transformer for Vietnamese Spelling Correction

論文の概要: A Combination of BERT and Transformer for Vietnamese Spelling Correction

arxiv url: http://arxiv.org/abs/2405.02573v1
Date: Sat, 4 May 2024 05:24:19 GMT
ステータス: 処理完了
システム内更新日: 2024-05-07 19:20:44.613857
Title: A Combination of BERT and Transformer for Vietnamese Spelling Correction
Title（参考訳）: ベトナムのスペル補正のためのBERTと変圧器の組み合わせ
Authors: Hieu Ngo Trung, Duong Tran Ham, Tin Huynh, Kiem Hoang,
Abstract要約: ベトナム語ではまだ実装されていない。我々のモデルは、Google Docs Spell Checkingツールと同様に、他のアプローチよりも優れており、このタスクで86.24 BLEUスコアを得る。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recently, many studies have shown the efficiency of using Bidirectional Encoder Representations from Transformers (BERT) in various Natural Language Processing (NLP) tasks. Specifically, English spelling correction task that uses Encoder-Decoder architecture and takes advantage of BERT has achieved state-of-the-art result. However, to our knowledge, there is no implementation in Vietnamese yet. Therefore, in this study, a combination of Transformer architecture (state-of-the-art for Encoder-Decoder model) and BERT was proposed to deal with Vietnamese spelling correction. The experiment results have shown that our model outperforms other approaches as well as the Google Docs Spell Checking tool, achieves an 86.24 BLEU score on this task.
Abstract（参考訳）: 近年,様々な自然言語処理(NLP)タスクにおいて,変換器(BERT)からの双方向エンコーダ表現(Bidirectional Encoder Representations)の効率性を示す研究が数多く行われている。具体的には、Encoder-Decoderアーキテクチャを使用し、BERTを利用する英語のスペル修正タスクは、最先端の結果を得た。しかし、我々の知る限りでは、ベトナム語ではまだ実装されていない。そこで本研究では,トランスフォーマーアーキテクチャ(エンコーダ・デコーダモデルのための最先端技術)とBERTの組み合わせをベトナム語スペル訂正に用いた。実験の結果,本手法はGoogle Docs Spell Checkingツールの他手法よりも優れており,86.24BLEUスコアが得られた。

関連論文リスト

Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。我々の手法は文の埋め込みを大幅に改善できる。
論文参考訳（メタデータ） (2023-05-16T03:53:30Z)
Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文参考訳（メタデータ） (2022-05-23T16:47:37Z)
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
論文参考訳（メタデータ） (2022-04-15T03:44:00Z)
Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding [57.08875260900373]
即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。 SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
論文参考訳（メタデータ） (2021-06-09T10:30:59Z)
Hierarchical Transformer Encoders for Vietnamese Spelling Correction [1.0779600811805266]
ベトナム語スペル訂正問題に対する階層変換器モデルを提案する。このモデルは、複数のトランスフォーマーエンコーダで構成され、文字レベルと単語レベルの両方を使用してエラーを検出し、修正する。
論文参考訳（メタデータ） (2021-05-28T04:09:15Z)
Explaining and Improving BERT Performance on Lexical Semantic Change Detection [22.934650688233734]
SemEval-2020 Task 1における型ベースモデルの最近の成功は、トークンベースモデルの成功がなぜ我々の分野に反映しないのかという疑問を提起している。 BERTベクトルのクラスタリングに対する変数の範囲の影響を調査し、その低パフォーマンスがターゲット語の正則情報によるものであることを示した。
論文参考訳（メタデータ） (2021-03-12T13:29:30Z)
Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews [0.0]
2つのデータセットの実験結果は、BERTを使用したモデルがGloVeとFastTextを使用して、他のモデルよりわずかに優れていることを示している。提案するBERTファインチューニング法は,従来のBERTファインチューニング法よりも優れた性能を持つアモデルを生成する。
論文参考訳（メタデータ） (2020-11-20T14:45:46Z)
Adapting Pretrained Transformer to Lattices for Spoken Language Understanding [39.50831917042577]
ASR(Automatic Speech Recognitionr)が生成した1-best結果とは対照的に格子の符号化により,音声言語理解(SLU)の性能が向上することが示されている。本稿では,事前学習したトランスフォーマーを格子入力に適用し,音声言語に特化して理解タスクを実行することを目的とする。
論文参考訳（メタデータ） (2020-11-02T07:14:34Z)
Incorporating BERT into Parallel Sequence Decoding with Adapters [82.65608966202396]
本稿では,2種類のBERTモデルをエンコーダとデコーダとして取り出し,シンプルで軽量なアダプタモジュールを導入し,それらを微調整する。我々は、ソース側およびターゲット側BERTモデルに含まれる情報を協調的に活用できるフレキシブルで効率的なモデルを得る。我々のフレームワークは、BERTの双方向および条件独立性を考慮した、Mask-Predictという並列シーケンス復号アルゴリズムに基づいている。
論文参考訳（メタデータ） (2020-10-13T03:25:15Z)
Information Extraction from Swedish Medical Prescriptions with Sig-Transformer Encoder [3.7921111379825088]
本稿では,自己アテンションモデルにシグネチャ変換を組み込むことにより,トランスフォーマーアーキテクチャの新たな拡張を提案する。スウェーデンの新しい処方薬データの実験では、3つの情報抽出タスクのうち2つにおいて提案されたアーキテクチャが優れていることが示されている。
論文参考訳（メタデータ） (2020-10-10T04:22:07Z)
Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
論文参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。