論文の概要: Adversarial Transfer Learning for Punctuation Restoration

• arxiv url: http://arxiv.org/abs/2004.00248v1
• Date: Wed, 1 Apr 2020 06:19:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 17:51:38.468617
• Title: Adversarial Transfer Learning for Punctuation Restoration
• Title（参考訳）: 句読点復元のための逆転置学習
• Authors: Jiangyan Yi, Jianhua Tao, Ye Bai, Zhengkun Tian, Cunhang Fan
• Abstract要約: 句読点予測のためのタスク不変知識を学習するために,逆多タスク学習を導入する。 IWSLT2011データセットを用いて実験を行った。
• 参考スコア（独自算出の注目度）: 58.2201356693101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous studies demonstrate that word embeddings and part-of-speech (POS) tags are helpful for punctuation restoration tasks. However, two drawbacks still exist. One is that word embeddings are pre-trained by unidirectional language modeling objectives. Thus the word embeddings only contain left-to-right context information. The other is that POS tags are provided by an external POS tagger. So computation cost will be increased and incorrect predicted tags may affect the performance of restoring punctuation marks during decoding. This paper proposes adversarial transfer learning to address these problems. A pre-trained bidirectional encoder representations from transformers (BERT) model is used to initialize a punctuation model. Thus the transferred model parameters carry both left-to-right and right-to-left representations. Furthermore, adversarial multi-task learning is introduced to learn task invariant knowledge for punctuation prediction. We use an extra POS tagging task to help the training of the punctuation predicting task. Adversarial training is utilized to prevent the shared parameters from containing task specific information. We only use the punctuation predicting task to restore marks during decoding stage. Therefore, it will not need extra computation and not introduce incorrect tags from the POS tagger. Experiments are conducted on IWSLT2011 datasets. The results demonstrate that the punctuation predicting models obtain further performance improvement with task invariant knowledge from the POS tagging task. Our best model outperforms the previous state-of-the-art model trained only with lexical features by up to 9.2% absolute overall F_1-score on test set.
• Abstract（参考訳）: 従来の研究では,単語の埋め込みとPOSタグが句読解作業に役立つことが示されている。 しかし、2つの欠点がある。 1つは、単語埋め込みは一方向言語モデリングの目的によって事前訓練されていることである。 したがって、単語埋め込みは、左から右のコンテキスト情報のみを含む。 もう1つは、POSタグが外部POSタグによって提供されることです。 したがって、計算コストが増大し、誤った予測タグがデコード中の句読点の復元性能に影響する可能性がある。 本稿では,これらの問題に対処する逆転学習を提案する。 変圧器(BERT)モデルからの事前訓練された双方向エンコーダ表現を用いて、句読点モデルを初期化する。 このように、転送されたモデルパラメータは、左右の両方の表現を持つ。 さらに,句読点予測のためのタスク不変知識を学習するために,逆多タスク学習を導入する。 我々は、句読点予測タスクのトレーニングを支援するために追加のPOSタグタスクを使用します。 対人訓練を用いて、共有パラメータがタスク固有の情報を含むのを防止する。 句読点予測タスクを使用して、復号段階でマークを復元するだけです。 したがって、余分な計算をする必要はなく、POSタグから間違ったタグを導入する必要もない。 IWSLT2011データセットを用いて実験を行った。 その結果,POSタグ付けタスクからタスク不変知識を用いて,句読点予測モデルによりさらなる性能向上が得られた。 我々の最良のモデルは、テストセットで最大9.2%の絶対的なF_1スコアでトレーニングされた以前の最先端モデルよりも優れています。

関連論文リスト

• Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
  文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。 現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。 本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:04:28Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Pre-trained Token-replaced Detection Model as Few-shot Learner [31.40447168356879]
  ELECTRAのような事前訓練されたトークン置換検出モデルを用いて,少数ショット学習のための新しい手法を提案する。 16のデータセットの体系的評価により,事前学習されたマスキング言語モデルを用いた数発の学習者よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2022-03-07T09:47:53Z)
• CaSP: Class-agnostic Semi-Supervised Pretraining for Detection and Segmentation [60.28924281991539]
  本稿では,タスク固有性バランスを向上するために,クラス非依存型半教師付き事前学習(CaSP)フレームワークを提案する。 我々は3.6Mの未ラベルデータを用いて、ImageNetで規定されたオブジェクト検出のベースラインよりも4.7%の顕著なパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2021-12-09T14:54:59Z)
• Token-Level Supervised Contrastive Learning for Punctuation Restoration [7.9713449581347104]
  句読解は自然言語の文章を理解するのに重要である。 ほとんどの自動音声認識システムは句読点を生成しない。 句読点修復における最近の研究は、事前訓練された言語モデルを大いに活用している。
  論文  参考訳（メタデータ） (2021-07-19T18:24:33Z)
• Incorporating External POS Tagger for Punctuation Restoration [11.573672075002007]
  触覚回復は自動音声認識において重要な後処理ステップである。 Part-of-speech(POS)タグは情報タグを提供し、各入力トークンの構文的役割を示唆する。 外部POSタグを組み込んで予測ラベルを既存の言語モデルに融合し,構文情報を提供する。
  論文  参考訳（メタデータ） (2021-06-12T09:58:06Z)
• Reliable Part-of-Speech Tagging of Historical Corpora through Set-Valued Prediction [21.67895423776014]
  設定値予測の枠組みにおけるPOSタグ付けについて検討する。 最先端のPOSタグをセット値の予測に拡張すると、より正確で堅牢なタグ付けが得られます。
  論文  参考訳（メタデータ） (2020-08-04T07:21:36Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)
• Machine Learning Approaches for Amharic Parts-of-speech Tagging [0.0]
  アムハラ語における現在のPOSタグのパフォーマンスは、英語や他のヨーロッパの言語で利用可能な現代のPOSタグほど良くない。 この作業の目的は、91%を超えなかったAmharic言語のPOSタグ性能を改善することである。
  論文  参考訳（メタデータ） (2020-01-10T06:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。