論文の概要: Hierarchical Attention Transformer Architecture For Syntactic Spell Correction

• arxiv url: http://arxiv.org/abs/2005.04876v1
• Date: Mon, 11 May 2020 06:19:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 19:35:07.241135
• Title: Hierarchical Attention Transformer Architecture For Syntactic Spell Correction
• Title（参考訳）: 構文スペル補正のための階層型注意変換器アーキテクチャ
• Authors: Abhishek Niranjan, M Ali Basha Shaik, Kushal Verma
• Abstract要約: 従来の変圧器のマルチエンコーダと単一復号器のバリエーションを提案する。 CER, 単語(WER), 文(SER)の誤り率について, 0.11%, 0.32%, 0.69%の大幅な改善を報告した。 私たちのアーキテクチャも7.8倍高速で、次の最も正確なモデルに比べて1/3程度の大きさしかありません。
• 参考スコア（独自算出の注目度）: 1.0312968200748118
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The attention mechanisms are playing a boosting role in advancements in sequence-to-sequence problems. Transformer architecture achieved new state of the art results in machine translation, and it's variants are since being introduced in several other sequence-to-sequence problems. Problems which involve a shared vocabulary, can benefit from the similar semantic and syntactic structure in the source and target sentences. With the motivation of building a reliable and fast post-processing textual module to assist all the text-related use cases in mobile phones, we take on the popular spell correction problem. In this paper, we propose multi encoder-single decoder variation of conventional transformer. Outputs from the three encoders with character level 1-gram, 2-grams and 3-grams inputs are attended in hierarchical fashion in the decoder. The context vectors from the encoders clubbed with self-attention amplify the n-gram properties at the character level and helps in accurate decoding. We demonstrate our model on spell correction dataset from Samsung Research, and report significant improvement of 0.11\%, 0.32\% and 0.69\% in character (CER), word (WER) and sentence (SER) error rates from existing state-of-the-art machine-translation architectures. Our architecture is also trains ~7.8 times faster, and is only about 1/3 in size from the next most accurate model.
• Abstract（参考訳）: シーケンシャル・トゥ・シーケンス問題における進歩において注目のメカニズムは促進的な役割を担っている。 トランスフォーマーアーキテクチャは機械翻訳の成果を新たに達成し、他のいくつかのシーケンス・ツー・シーケンス問題にも導入されている。 共通語彙を含む問題は、ソースおよびターゲット文における同様の意味構造と構文構造から恩恵を受けることができる。 携帯電話におけるテキスト関連のすべてのユースケースを支援するために,信頼性が高く高速なテキスト処理モジュールを構築する動機から,一般的な綴り訂正問題に取り組む。 本稿では,従来のトランスのマルチエンコーダ・シングルデコーダ変動について述べる。 文字レベル1-gramと2-gramと3-gramの入力を持つ3つのエンコーダからの出力は、デコーダの階層的な方式で処理される。 自己注意で区切られたエンコーダのコンテキストベクトルは、文字レベルでn-gram特性を増幅し、正確な復号を支援する。 samsung research によるスペル訂正データセットのモデルを示し,文字 (cer), 単語 (wer) および文 (ser) の0.11\%, 0.32\%, 0.69\%の有意な改善を報告した。 私たちのアーキテクチャも7.8倍高速で、次の最も正確なモデルから約1/3の大きさでしかありません。

関連論文リスト

• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• TRIG: Transformer-Based Text Recognizer with Initial Embedding Guidance [15.72669617789124]
  シーンテキスト認識(STR)は画像とテキストの間の重要なブリッジである。 最近の手法では、凍結初期埋め込みを使用してデコーダを誘導し、特徴をテキストにデコードし、精度が低下する。 TRansformer-based text recognizer with Initial embeddeding Guidance (TRIG) という,テキスト認識のための新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-11-16T09:10:39Z)
• Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems [38.672160430296536]
  トランスフォーマーモデルは、要約を含む幅広いNLPタスクにおいて最先端の結果を得た。 これまでの研究は、エンコーダの二次的自己保持機構という、重要なボトルネックに重点を置いてきた。 この研究はトランスのエンコーダ・デコーダのアテンション機構に焦点を当てている。
  論文  参考訳（メタデータ） (2021-09-08T19:32:42Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Contextual Transformer Networks for Visual Recognition [103.79062359677452]
  視覚認識のための新しいTransformerスタイルのモジュールであるContextual Transformer(CoT)ブロックを設計する。 このような設計は、動的注意行列の学習を導くために入力キー間のコンテキスト情報を完全に活用する。 私たちのCoTブロックは、ResNetアーキテクチャにおける3ドル3ドルの畳み込みを簡単に置き換えられるという視点で魅力的です。
  論文  参考訳（メタデータ） (2021-07-26T16:00:21Z)
• Reinforcement Learning for on-line Sequence Transformation [0.0]
  トークンを読むか、別のトークンを書くべきかを判断するために、強化によって学習するアーキテクチャを導入します。 実験では、ニューラルネットワーク翻訳の最先端手法と比較した。
  論文  参考訳（メタデータ） (2021-05-28T20:31:25Z)
• Rethinking Text Line Recognition Models [57.47147190119394]
  2つのデコーダファミリー(コネクショニスト時間分類と変換器)と3つのエンコーダモジュール(双方向LSTM、自己認識、GRCL)を考える。 広く使用されているシーンと手書きテキストの公開データセットの精度とパフォーマンスを比較します。 より一般的なTransformerベースのモデルとは異なり、このアーキテクチャは任意の長さの入力を処理できる。
  論文  参考訳（メタデータ） (2021-04-15T21:43:13Z)
• Efficient Wait-k Models for Simultaneous Machine Translation [46.01342928010307]
  同時機械翻訳は、入力シーケンス全体が利用可能になる前に出力生成を開始することで構成される。 Wait-kデコーダは、この問題に対してシンプルだが効率的なアプローチを提供する。 IWSLTデータセットを用いた音声コーパスの低リソース設定におけるwait-k復号の動作について検討する。
  論文  参考訳（メタデータ） (2020-05-18T11:14:23Z)
• On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
  我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。 ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。 このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-24T16:57:52Z)
• Consistent Multiple Sequence Decoding [36.46573114422263]
  一貫性のある多重シーケンスデコーディングアーキテクチャを導入する。 このアーキテクチャは任意の数のシーケンスを一貫した同時復号化を可能にする。 重回帰画像キャプションにおける一貫した多重シーケンスデコーダの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-02T00:43:54Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。