論文の概要: Self-Training for Unsupervised Parsing with PRPN
- arxiv url: http://arxiv.org/abs/2005.13455v1
- Date: Wed, 27 May 2020 16:11:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 08:56:43.607270
- Title: Self-Training for Unsupervised Parsing with PRPN
- Title（参考訳）: PRPNを用いた教師なし構文解析のための自己学習
- Authors: Anhad Mohananey, Katharina Kann, Samuel R. Bowman
- Abstract要約: ニューラルUPモデルの自己学習を提案する。
我々は、将来のコピーの監督として、モデルのコピーによって予測される集約アノテーションを活用します。
本モデルではPRPNが8.1%F1, 先行技術が1.6%F1より優れていた。
- 参考スコア（独自算出の注目度）: 43.92334181340415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural unsupervised parsing (UP) models learn to parse without access to
syntactic annotations, while being optimized for another task like language
modeling. In this work, we propose self-training for neural UP models: we
leverage aggregated annotations predicted by copies of our model as supervision
for future copies. To be able to use our model's predictions during training,
we extend a recent neural UP architecture, the PRPN (Shen et al., 2018a) such
that it can be trained in a semi-supervised fashion. We then add examples with
parses predicted by our model to our unlabeled UP training data. Our
self-trained model outperforms the PRPN by 8.1% F1 and the previous state of
the art by 1.6% F1. In addition, we show that our architecture can also be
helpful for semi-supervised parsing in ultra-low-resource settings.
- Abstract（参考訳）: neural unsupervised parse (up)モデルは構文アノテーションにアクセスせずに解析を学習し、言語モデリングのような他のタスクに最適化される。
本研究では,ニューラルUPモデルの自己学習を提案し,将来的なコピーの監督として,モデルのコピーによって予測される集約アノテーションを活用する。
トレーニング中にモデルの予測を使用できるように、最近のニューラルネットワークアーキテクチャであるprpn(shen et al., 2018a)を拡張し、半教師ありの方法でトレーニングできるようにします。
そして、未ラベルのUPトレーニングデータに、モデルによって予測される構文の例を追加します。
我々の自己学習モデルはPRPNを8.1%F1で上回り、先行技術は1.6%F1で上回ります。
さらに,我々のアーキテクチャは,超低リソース環境における半教師付き解析にも有効であることを示す。
関連論文リスト
- Reuse, Don't Retrain: A Recipe for Continued Pretraining of Language Models [29.367678364485794]
本稿では,言語モデルの事前学習を継続する上で,効率的なデータ分布と学習率スケジュールを設計する方法を示す。
プレトレーニングセットにおける継続トレーニングのベースラインと比較すると,平均モデル精度は9%向上した。
論文 参考訳（メタデータ） (2024-07-09T22:37:59Z) - Unsupervised and Few-shot Parsing from Pretrained Language Models [56.33247845224995]
本研究では,事前学習言語モデルで学習した自己注意重み行列に基づいて,アウトアソシエーションスコアを算出した教師なし構成的パーシングモデルを提案する。
教師なしモデルからいくつかの注釈付き木を用いた数ショット構文解析モデルに拡張し、解析のためのより優れた線形射影行列を学習する。
FPIOは20本の注釈付き木で訓練され、50本の注釈付き木で訓練された過去の数枚の構文解析よりも優れていた。
論文 参考訳（メタデータ） (2022-06-10T10:29:15Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z) - Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。
我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
論文 参考訳（メタデータ） (2022-03-25T19:44:09Z) - UmBERTo-MTSA @ AcCompl-It: Improving Complexity and Acceptability
Prediction with Multi-task Learning on Self-Supervised Annotations [0.0]
本研究は,ラベル付きデータの適度な使用量のみの学習モデルの性能向上に使用される,自己教師型データ拡張手法について述べる。
神経言語モデルは、EVALITA 2020におけるAcCompl-it共有タスクのコンテキストにおいて、この手順を用いて微調整される。
論文 参考訳（メタデータ） (2020-11-10T15:50:37Z) - Is Transfer Learning Necessary for Protein Landscape Prediction? [14.098875826640883]
教師付き学習のみを用いて訓練されたCNNモデルは、TAPEの最良のモデルと競合し、時には上回っていることを示す。
TAPEが提案するベンチマークタスクは、モデルがタンパク質機能を予測する能力の優れた測定方法であり、今後使用されるべきである。
論文 参考訳（メタデータ） (2020-10-31T20:41:36Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - On the Role of Supervision in Unsupervised Constituency Parsing [59.55128879760495]
数ショットのパーシングアプローチは、教師なしのパーシング手法を大きなマージンで上回ることができる。
これは、公正な結論に達するためには、モデル開発に使用されるラベル付きデータの量について慎重に検討する必要があることを示唆している。
論文 参考訳（メタデータ） (2020-10-06T01:34:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。