論文の概要: Improving BERT Pretraining with Syntactic Supervision
- arxiv url: http://arxiv.org/abs/2104.10516v1
- Date: Wed, 21 Apr 2021 13:15:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 18:58:06.931179
- Title: Improving BERT Pretraining with Syntactic Supervision
- Title(参考訳): Syntactic SupervisionによるBERT事前トレーニングの改善
- Authors: Giorgos Tziafas, Konstantinos Kogkalidis, Gijs Wijnholds, Michael
Moortgat
- Abstract要約: 双方向マスク型トランスフォーマーは、現在のNLPランドスケープのコアテーマとなっている。
Lassy Largeは、自動的に注釈付きオランダ語のコーパスです。
我々の実験では,構文認識モデルが確立されたベースラインと同等の性能を発揮することを示唆する。
- 参考スコア(独自算出の注目度): 2.4087148947930634
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bidirectional masked Transformers have become the core theme in the current
NLP landscape. Despite their impressive benchmarks, a recurring theme in recent
research has been to question such models' capacity for syntactic
generalization. In this work, we seek to address this question by adding a
supervised, token-level supertagging objective to standard unsupervised
pretraining, enabling the explicit incorporation of syntactic biases into the
network's training dynamics. Our approach is straightforward to implement,
induces a marginal computational overhead and is general enough to adapt to a
variety of settings. We apply our methodology on Lassy Large, an automatically
annotated corpus of written Dutch. Our experiments suggest that our
syntax-aware model performs on par with established baselines, despite Lassy
Large being one order of magnitude smaller than commonly used corpora.
- Abstract(参考訳): 双方向マスクトランスが現在のNLPランドスケープのコアテーマとなっている。
印象的なベンチマークにもかかわらず、最近の研究で繰り返し取り上げられるテーマは、そのようなモデルの構文一般化能力に疑問を投げかけることである。
本研究では,標準的な教師なし事前学習にトークンレベルのスーパータグを付与することにより,ネットワークのトレーニングダイナミクスに構文バイアスを明示的に組み込むことにより,この問題に対処する。
我々のアプローチは実装が簡単で、限界計算オーバーヘッドを発生させ、様々な設定に適応できるほど一般的です。
オランダ語の自動注釈付きコーパスであるLassy Largeに適用する。
我々の実験は,Lassy Largeが一般的なコーパスよりも1桁小さいにもかかわらず,構文認識モデルが確立されたベースラインと同等に動作することを示唆している。
関連論文リスト
- Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-03T21:49:14Z) - Context-aware Fine-tuning of Self-supervised Speech Models [56.95389222319555]
微調整におけるコンテキスト,すなわち周辺セグメントの使用について検討する。
我々はコンテキスト認識ファインチューニングと呼ばれる新しいアプローチを提案する。
いくつかの下流タスクに対して,SLUE と Libri-light ベンチマークを用いて提案手法の評価を行った。
論文 参考訳(メタデータ) (2022-12-16T15:46:15Z) - Position Prediction as an Effective Pretraining Strategy [20.925906203643883]
本稿では,コンテンツからの位置を予測し,位置情報を提供することなく,コンテンツを再構築する手法を提案する。
提案手法は,教師なし/自己教師付き事前学習手法に匹敵する,強い教師付きトレーニングベースラインの改善をもたらす。
論文 参考訳(メタデータ) (2022-07-15T17:10:48Z) - Compositional generalization in semantic parsing with pretrained
transformers [13.198689566654108]
我々は,非英語コーパスやプログラミング言語コーパスにのみ事前訓練された言語モデルが,アウト・オブ・ディストリビューションの一般化を著しく改善することを示した。
また, より大規模なモデルではスクラッチからのトレーニングが困難であり, 収束までのトレーニングでは, 一般化精度が低いことを示す。
論文 参考訳(メタデータ) (2021-09-30T13:06:29Z) - Bridging Subword Gaps in Pretrain-Finetune Paradigm for Natural Language
Generation [43.74565940808031]
プレトレイン・ファインチューン・パラダイムの制限は、1つの大きさの全ての語彙によって引き起こされるその柔軟性にある。
我々は,バニラ・プレトレイン・ファネチューンパイプラインを,追加の埋め込み転送ステップで拡張する。
プレトレイン-ファインチューン方式で様々なNLGタスクを実験する。
論文 参考訳(メタデータ) (2021-06-11T02:16:13Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳(メタデータ) (2021-06-10T10:18:23Z) - Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。
我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。
質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文 参考訳(メタデータ) (2020-10-07T21:02:41Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。