論文の概要: MAPGN: MAsked Pointer-Generator Network for sequence-to-sequence pre-training

• arxiv url: http://arxiv.org/abs/2102.07380v2
• Date: Tue, 16 Feb 2021 02:30:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 12:07:52.231148
• Title: MAPGN: MAsked Pointer-Generator Network for sequence-to-sequence pre-training
• Title（参考訳）: MAPGN:MAsked Pointer-Generator Network for sequence-to-Sequence pre-training
• Authors: Mana Ihori, Naoki Makishima, Tomohiro Tanaka, Akihiko Takashima, Shota Orihashi and Ryo Masumura
• Abstract要約: 本稿では,ポインタ生成ネットワークにおける自己教師付き学習手法を提案する。 MAPGNは2つの音声テキスト正規化タスクにおける従来の自己教師付き学習手法よりもポインタジェネレータネットワークに有効である。
• 参考スコア（独自算出の注目度）: 28.516240952627083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a self-supervised learning method for pointer-generator networks to improve spoken-text normalization. Spoken-text normalization that converts spoken-style text into style normalized text is becoming an important technology for improving subsequent processing such as machine translation and summarization. The most successful spoken-text normalization method to date is sequence-to-sequence (seq2seq) mapping using pointer-generator networks that possess a copy mechanism from an input sequence. However, these models require a large amount of paired data of spoken-style text and style normalized text, and it is difficult to prepare such a volume of data. In order to construct spoken-text normalization model from the limited paired data, we focus on self-supervised learning which can utilize unpaired text data to improve seq2seq models. Unfortunately, conventional self-supervised learning methods do not assume that pointer-generator networks are utilized. Therefore, we propose a novel self-supervised learning method, MAsked Pointer-Generator Network (MAPGN). The proposed method can effectively pre-train the pointer-generator network by learning to fill masked tokens using the copy mechanism. Our experiments demonstrate that MAPGN is more effective for pointer-generator networks than the conventional self-supervised learning methods in two spoken-text normalization tasks.
• Abstract（参考訳）: 本稿では,ポインタ生成ネットワークにおける自己教師付き学習手法を提案する。 機械翻訳や要約といったその後の処理を改善する上で,音声スタイルテキストをスタイル正規化テキストに変換する音声テキスト正規化が重要な技術になりつつある。 これまで最も成功した音声テキスト正規化手法は、入力シーケンスからコピー機構を持つポインタ生成ネットワークを用いたシーケンシャル・ツー・シーケンス(seq2seq)マッピングである。 しかし,これらのモデルには音声文と正規化文のペアデータが多く必要であり,そのような量のデータを作成することは困難である。 限られたペアリングデータから発話テキスト正規化モデルを構築するために,無対のテキストデータを利用してseq2seqモデルを改善する自己監視学習に重点を置いている。 残念なことに,従来の自己監視学習手法では,ポインタ生成ネットワークの利用は想定されていない。 そこで本研究では,MAsked Pointer-Generator Network (MAPGN) を提案する。 提案手法は,コピー機構を用いてマスクトークンを埋めることを学ぶことにより,ポインタ生成ネットワークを効果的にプリトレーニングすることができる。 実験により,MAPGNは2つの音声テキスト正規化タスクにおける従来の自己教師付き学習手法よりもポインタジェネレータネットワークに有効であることが示された。

関連論文リスト

• Enhancing Text Generation in Joint NLG/NLU Learning Through Curriculum Learning, Semi-Supervised Training, and Advanced Optimization Techniques [0.0]
  本研究では,NLG(Natural Language Generation)とNLU(Natural Language Understanding)の併用によってテキスト生成を改善する手法を開発した。 データは、クリーニング、トークン化、ストーミング、ストップワード削除など、注釈付きデータセットの収集と前処理によって作成される。 トランスフォーマーベースのエンコーダとデコーダ、長距離依存関係のキャプチャ、ソースターゲットシーケンスモデリングの改善。 政策勾配手法による強化学習、半教師付きトレーニング、注意機構の改善、および異なる近似を用いて、モデルを微調整し、複雑な言語タスクを効果的に処理する。
  論文  参考訳（メタデータ） (2024-10-17T12:43:49Z)
• GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding [52.14832976759585]
  文法的誤り訂正(GEC)は、通常自己回帰的なシーケンス・ツー・シーケンスモデルで解決される重要なNLPタスクである。 本稿では, アーキテクチャを置換ネットワークに分離する, GEC に対する非自己回帰的アプローチを提案する。 GECの既知の非自己回帰手法よりもネットワークが向上することを示す。
  論文  参考訳（メタデータ） (2023-11-14T14:24:36Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• CSSL-MHTR: Continual Self-Supervised Learning for Scalable Multi-script Handwritten Text Recognition [16.987008461171065]
  我々は,手書き文字認識における破滅的な忘れの問題を軽減するために,連続的な自己指導型学習の可能性を探究する。 提案手法は,各タスクにアダプタと呼ばれる中間層を追加し,現在のタスクを学習しながら,前モデルからの知識を効率的に抽出する。 私たちは英語、イタリア語、ロシア語のスクリプトで最先端のパフォーマンスを達成しましたが、タスクごとにいくつかのパラメータしか追加していません。
  論文  参考訳（メタデータ） (2023-03-16T14:27:45Z)
• Uncovering the Handwritten Text in the Margins: End-to-end Handwritten Text Detection and Recognition [0.840835093659811]
  本研究は,手書きペラリアの自動検出と認識のためのエンドツーエンドフレームワークを提案する。 データ拡張と転送学習を使用して、トレーニングデータの不足を克服する。 このフレームワークの有効性はスウェーデンのウプサラ大学図書館で発見された初期の書籍コレクションのデータから実証的に評価されている。
  論文  参考訳（メタデータ） (2023-03-10T14:00:53Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation [63.195935452646815]
  本稿では,自己教師付き事前学習のためのテキストのドメイン適応マスキングとタスク適応マスキングを自動生成する手法を提案する。 本稿では,マスキング政策を学習する新しい強化学習フレームワークを提案する。 我々はいくつかの質問応答とテキスト分類データセットに基づいてニューラルマスク生成器(NMG)を検証する。
  論文  参考訳（メタデータ） (2020-10-06T13:27:01Z)
• Improved Code Summarization via a Graph Neural Network [96.03715569092523]
  一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。 これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。