論文の概要: Improving BERT Pretraining with Syntactic Supervision

• arxiv url: http://arxiv.org/abs/2104.10516v1
• Date: Wed, 21 Apr 2021 13:15:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 18:58:06.931179
• Title: Improving BERT Pretraining with Syntactic Supervision
• Title（参考訳）: Syntactic SupervisionによるBERT事前トレーニングの改善
• Authors: Giorgos Tziafas, Konstantinos Kogkalidis, Gijs Wijnholds, Michael Moortgat
• Abstract要約: 双方向マスク型トランスフォーマーは、現在のNLPランドスケープのコアテーマとなっている。 Lassy Largeは、自動的に注釈付きオランダ語のコーパスです。 我々の実験では,構文認識モデルが確立されたベースラインと同等の性能を発揮することを示唆する。
• 参考スコア（独自算出の注目度）: 2.4087148947930634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bidirectional masked Transformers have become the core theme in the current NLP landscape. Despite their impressive benchmarks, a recurring theme in recent research has been to question such models' capacity for syntactic generalization. In this work, we seek to address this question by adding a supervised, token-level supertagging objective to standard unsupervised pretraining, enabling the explicit incorporation of syntactic biases into the network's training dynamics. Our approach is straightforward to implement, induces a marginal computational overhead and is general enough to adapt to a variety of settings. We apply our methodology on Lassy Large, an automatically annotated corpus of written Dutch. Our experiments suggest that our syntax-aware model performs on par with established baselines, despite Lassy Large being one order of magnitude smaller than commonly used corpora.
• Abstract（参考訳）: 双方向マスクトランスが現在のNLPランドスケープのコアテーマとなっている。 印象的なベンチマークにもかかわらず、最近の研究で繰り返し取り上げられるテーマは、そのようなモデルの構文一般化能力に疑問を投げかけることである。 本研究では,標準的な教師なし事前学習にトークンレベルのスーパータグを付与することにより,ネットワークのトレーニングダイナミクスに構文バイアスを明示的に組み込むことにより,この問題に対処する。 我々のアプローチは実装が簡単で、限界計算オーバーヘッドを発生させ、様々な設定に適応できるほど一般的です。 オランダ語の自動注釈付きコーパスであるLassy Largeに適用する。 我々の実験は,Lassy Largeが一般的なコーパスよりも1桁小さいにもかかわらず,構文認識モデルが確立されたベースラインと同等に動作することを示唆している。

関連論文リスト

• Learning and Transferring Sparse Contextual Bigrams with Linear Transformers [47.37256334633102]
  スパース・コン・ビグラム(Sparse Con Bigram)モデルを導入し、次のトークンの生成は、最後のトークンによって決定される以前の位置のスパースセットに依存する。 勾配アルゴリズムを用いた一層線形変圧器を用いて,SCB学習のトレーニングダイナミクスとサンプル複雑性を解析した。 下流と事前学習タスクの間に非自明な相関関係があることを証明し、事前訓練されたモデルから微調整することで、初期サンプル集約段階を回避できることを証明した。
  論文  参考訳（メタデータ） (2024-10-30T20:29:10Z)
• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Context-aware Fine-tuning of Self-supervised Speech Models [56.95389222319555]
  微調整におけるコンテキスト,すなわち周辺セグメントの使用について検討する。 我々はコンテキスト認識ファインチューニングと呼ばれる新しいアプローチを提案する。 いくつかの下流タスクに対して,SLUE と Libri-light ベンチマークを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2022-12-16T15:46:15Z)
• Position Prediction as an Effective Pretraining Strategy [20.925906203643883]
  本稿では,コンテンツからの位置を予測し,位置情報を提供することなく,コンテンツを再構築する手法を提案する。 提案手法は,教師なし/自己教師付き事前学習手法に匹敵する,強い教師付きトレーニングベースラインの改善をもたらす。
  論文  参考訳（メタデータ） (2022-07-15T17:10:48Z)
• Compositional generalization in semantic parsing with pretrained transformers [13.198689566654108]
  我々は,非英語コーパスやプログラミング言語コーパスにのみ事前訓練された言語モデルが,アウト・オブ・ディストリビューションの一般化を著しく改善することを示した。 また, より大規模なモデルではスクラッチからのトレーニングが困難であり, 収束までのトレーニングでは, 一般化精度が低いことを示す。
  論文  参考訳（メタデータ） (2021-09-30T13:06:29Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。