論文の概要: On the Role of Supervision in Unsupervised Constituency Parsing

• arxiv url: http://arxiv.org/abs/2010.02423v2
• Date: Wed, 7 Oct 2020 01:38:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 06:28:48.963044
• Title: On the Role of Supervision in Unsupervised Constituency Parsing
• Title（参考訳）: 教師なし選挙区パーシングにおけるスーパービジョンの役割について
• Authors: Haoyue Shi, Karen Livescu, Kevin Gimpel
• Abstract要約: 数ショットのパーシングアプローチは、教師なしのパーシング手法を大きなマージンで上回ることができる。 これは、公正な結論に達するためには、モデル開発に使用されるラベル付きデータの量について慎重に検討する必要があることを示唆している。
• 参考スコア（独自算出の注目度）: 59.55128879760495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analyze several recent unsupervised constituency parsing models, which are tuned with respect to the parsing $F_1$ score on the Wall Street Journal (WSJ) development set (1,700 sentences). We introduce strong baselines for them, by training an existing supervised parsing model (Kitaev and Klein, 2018) on the same labeled examples they access. When training on the 1,700 examples, or even when using only 50 examples for training and 5 for development, such a few-shot parsing approach can outperform all the unsupervised parsing methods by a significant margin. Few-shot parsing can be further improved by a simple data augmentation method and self-training. This suggests that, in order to arrive at fair conclusions, we should carefully consider the amount of labeled data used for model development. We propose two protocols for future work on unsupervised parsing: (i) use fully unsupervised criteria for hyperparameter tuning and model selection; (ii) use as few labeled examples as possible for model development, and compare to few-shot parsing trained on the same labeled examples.
• Abstract（参考訳）: 本稿では,ウォールストリートジャーナル (WSJ) 開発セット (1,700文) において,F_1$スコアを解析するための非教師付き選挙区解析モデルについて検討する。 既存の教師付き構文解析モデル(kitaev and klein, 2018)を、彼らがアクセスする同じラベル付き例でトレーニングすることで、強力なベースラインを導入します。 1,700例のトレーニングや,トレーニングに50例,開発に5例のみを使用する場合でさえ,教師なしの構文解析メソッドをはるかに上回ることができる。 簡単なデータ拡張法と自己学習により、ショットパーシングがさらに改善される。 これは、公正な結論に達するためには、モデル開発に使用されるラベル付きデータの量について慎重に検討する必要があることを示唆している。 教師なし構文解析のための2つのプロトコルを提案する。 一 ハイパーパラメータチューニング及びモデル選択の完全教師なし基準を使用する。 (ii) できるだけ少数のラベル付き例をモデル開発に使用し、同じラベル付き例でトレーニングされた少数ショット解析と比較する。

関連論文リスト

• Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model [18.111868378615206]
  本稿では,複雑な訓練パイプラインを必要とせず,教師付きモデルに近い性能を達成できる一対数ショットローダを提案する。 また,複雑なトレーニングパイプラインを必要とせず,教師付きモデルに近い性能を実現する。
  論文  参考訳（メタデータ） (2024-09-26T11:19:09Z)
• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• Unsupervised and Few-shot Parsing from Pretrained Language Models [56.33247845224995]
  本研究では,事前学習言語モデルで学習した自己注意重み行列に基づいて,アウトアソシエーションスコアを算出した教師なし構成的パーシングモデルを提案する。 教師なしモデルからいくつかの注釈付き木を用いた数ショット構文解析モデルに拡張し、解析のためのより優れた線形射影行列を学習する。 FPIOは20本の注釈付き木で訓練され、50本の注釈付き木で訓練された過去の数枚の構文解析よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-10T10:29:15Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Language Models in the Loop: Incorporating Prompting into Weak Supervision [11.10422546502386]
  本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。 典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
  論文  参考訳（メタデータ） (2022-05-04T20:42:40Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Hierarchical Few-Shot Generative Models [18.216729811514718]
  本稿では,ニューラルネットワークを階層的なアプローチに拡張する潜伏変数のアプローチについて検討する。 以上の結果から,階層的な定式化は,小データ構造における集合内の内在的変動をよりよく捉えることが示唆された。
  論文  参考訳（メタデータ） (2021-10-23T19:19:39Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• Self-Training for Unsupervised Parsing with PRPN [43.92334181340415]
  ニューラルUPモデルの自己学習を提案する。 我々は、将来のコピーの監督として、モデルのコピーによって予測される集約アノテーションを活用します。 本モデルではPRPNが8.1%F1, 先行技術が1.6%F1より優れていた。
  論文  参考訳（メタデータ） (2020-05-27T16:11:09Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。