論文の概要: MAPGN: MAsked Pointer-Generator Network for sequence-to-sequence pre-training

• arxiv url: http://arxiv.org/abs/2102.07380v2
• Date: Tue, 16 Feb 2021 02:30:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 12:07:52.231148
• Title: MAPGN: MAsked Pointer-Generator Network for sequence-to-sequence pre-training
• Title（参考訳）: MAPGN:MAsked Pointer-Generator Network for sequence-to-Sequence pre-training
• Authors: Mana Ihori, Naoki Makishima, Tomohiro Tanaka, Akihiko Takashima, Shota Orihashi and Ryo Masumura
• Abstract要約: 本稿では,ポインタ生成ネットワークにおける自己教師付き学習手法を提案する。 MAPGNは2つの音声テキスト正規化タスクにおける従来の自己教師付き学習手法よりもポインタジェネレータネットワークに有効である。
• 参考スコア（独自算出の注目度）: 28.516240952627083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a self-supervised learning method for pointer-generator networks to improve spoken-text normalization. Spoken-text normalization that converts spoken-style text into style normalized text is becoming an important technology for improving subsequent processing such as machine translation and summarization. The most successful spoken-text normalization method to date is sequence-to-sequence (seq2seq) mapping using pointer-generator networks that possess a copy mechanism from an input sequence. However, these models require a large amount of paired data of spoken-style text and style normalized text, and it is difficult to prepare such a volume of data. In order to construct spoken-text normalization model from the limited paired data, we focus on self-supervised learning which can utilize unpaired text data to improve seq2seq models. Unfortunately, conventional self-supervised learning methods do not assume that pointer-generator networks are utilized. Therefore, we propose a novel self-supervised learning method, MAsked Pointer-Generator Network (MAPGN). The proposed method can effectively pre-train the pointer-generator network by learning to fill masked tokens using the copy mechanism. Our experiments demonstrate that MAPGN is more effective for pointer-generator networks than the conventional self-supervised learning methods in two spoken-text normalization tasks.
• Abstract（参考訳）: 本稿では,ポインタ生成ネットワークにおける自己教師付き学習手法を提案する。 機械翻訳や要約といったその後の処理を改善する上で,音声スタイルテキストをスタイル正規化テキストに変換する音声テキスト正規化が重要な技術になりつつある。 これまで最も成功した音声テキスト正規化手法は、入力シーケンスからコピー機構を持つポインタ生成ネットワークを用いたシーケンシャル・ツー・シーケンス(seq2seq)マッピングである。 しかし,これらのモデルには音声文と正規化文のペアデータが多く必要であり,そのような量のデータを作成することは困難である。 限られたペアリングデータから発話テキスト正規化モデルを構築するために,無対のテキストデータを利用してseq2seqモデルを改善する自己監視学習に重点を置いている。 残念なことに,従来の自己監視学習手法では,ポインタ生成ネットワークの利用は想定されていない。 そこで本研究では,MAsked Pointer-Generator Network (MAPGN) を提案する。 提案手法は,コピー機構を用いてマスクトークンを埋めることを学ぶことにより,ポインタ生成ネットワークを効果的にプリトレーニングすることができる。 実験により,MAPGNは2つの音声テキスト正規化タスクにおける従来の自己教師付き学習手法よりもポインタジェネレータネットワークに有効であることが示された。

関連論文リスト

• CSSL-MHTR: Continual Self-Supervised Learning for Scalable Multi-script Handwritten Text Recognition [7.39273105421963]
  我々は,手書き文字認識における破滅的な忘れの問題を軽減するために,連続的な自己指導型学習の可能性を探究する。 提案手法は,各タスクにアダプタと呼ばれる中間層を追加し,現在のタスクを学習しながら,前モデルからの知識を効率的に抽出する。 私たちは英語、イタリア語、ロシア語のスクリプトで最先端のパフォーマンスを達成しましたが、タスクごとにいくつかのパラメータしか追加していません。
  論文  参考訳（メタデータ） (2023-03-16T14:27:45Z)
• ConTextual Mask Auto-Encoder for Dense Passage Retrieval [49.49460769701308]
  CoT-MAEは,高密度経路抽出のための簡易かつ効果的な生成前訓練法である。 文のセマンティクスを高密度ベクトルに圧縮する学習は、自己教師付きおよび文脈教師付きマスキングによる自動エンコーディングによって行われる。 我々は,大規模経路探索ベンチマークの実験を行い,強力なベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2022-08-16T11:17:22Z)
• Collocation2Text: Controllable Text Generation from Guide Phrases in Russian [0.0]
  Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。 この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。 提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
  論文  参考訳（メタデータ） (2022-06-18T17:10:08Z)
• Reinforced Generative Adversarial Network for Abstractive Text Summarization [7.507096634112164]
  シーケンス・ツー・シーケンス・モデルは、生成的要約に対する実行可能な新しいアプローチを提供する。 これらのモデルには3つの欠点がある: 原文の詳細の把握はしばしば不正確なものであり、そのようなモデルによって生成されたテキストは繰り返しとなることが多い。 本稿では,強化学習と敵対的生成ネットワークを組み合わせた新しいアーキテクチャを提案し,シーケンス・ツー・シーケンス・アテンション・モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-31T17:34:47Z)
• SAHDL: Sparse Attention Hypergraph Regularized Dictionary Learning [19.63614783778465]
  近年,注目メカニズムはハイパーグラフベースのニューラルネットワークに大きく寄与している。 本稿では,この問題に対処し,辞書学習に組み込むためのハイパーグラフに基づくスパースアテンション機構を提案する。 提案手法の有効性を4つのベンチマークデータセットで示す。
  論文  参考訳（メタデータ） (2020-10-23T14:07:00Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation [63.195935452646815]
  本稿では,自己教師付き事前学習のためのテキストのドメイン適応マスキングとタスク適応マスキングを自動生成する手法を提案する。 本稿では,マスキング政策を学習する新しい強化学習フレームワークを提案する。 我々はいくつかの質問応答とテキスト分類データセットに基づいてニューラルマスク生成器(NMG)を検証する。
  論文  参考訳（メタデータ） (2020-10-06T13:27:01Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Improved Code Summarization via a Graph Neural Network [96.03715569092523]
  一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。 これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。