論文の概要: Unsupervised and Few-shot Parsing from Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2206.04980v1
• Date: Fri, 10 Jun 2022 10:29:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 22:45:14.162637
• Title: Unsupervised and Few-shot Parsing from Pretrained Language Models
• Title（参考訳）: 事前学習型言語モデルからの教師なし・少ない構文解析
• Authors: Zhiyuan Zeng and Deyi Xiong
• Abstract要約: 本研究では,事前学習言語モデルで学習した自己注意重み行列に基づいて,アウトアソシエーションスコアを算出した教師なし構成的パーシングモデルを提案する。 教師なしモデルからいくつかの注釈付き木を用いた数ショット構文解析モデルに拡張し、解析のためのより優れた線形射影行列を学習する。 FPIOは20本の注釈付き木で訓練され、50本の注釈付き木で訓練された過去の数枚の構文解析よりも優れていた。
• 参考スコア（独自算出の注目度）: 56.33247845224995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models are generally acknowledged to be able to encode syntax [Tenney et al., 2019, Jawahar et al., 2019, Hewitt and Manning, 2019]. In this article, we propose UPOA, an Unsupervised constituent Parsing model that calculates an Out Association score solely based on the self-attention weight matrix learned in a pretrained language model as the syntactic distance for span segmentation. We further propose an enhanced version, UPIO, which exploits both inside association and outside association scores for estimating the likelihood of a span. Experiments with UPOA and UPIO disclose that the linear projection matrices for the query and key in the self-attention mechanism play an important role in parsing. We therefore extend the unsupervised models to few-shot parsing models (FPOA, FPIO) that use a few annotated trees to learn better linear projection matrices for parsing. Experiments on the Penn Treebank demonstrate that our unsupervised parsing model UPIO achieves results comparable to the state of the art on short sentences (length <= 10). Our few-shot parsing model FPIO trained with only 20 annotated trees outperforms a previous few-shot parsing method trained with 50 annotated trees. Experiments on cross-lingual parsing show that both unsupervised and few-shot parsing methods are better than previous methods on most languages of SPMRL [Seddah et al., 2013].
• Abstract（参考訳）: 事前訓練された言語モデルは、構文をエンコードできることが一般的に認められている(Tenney et al., 2019, Jawahar et al., 2019, Hewitt and Manning, 2019)。 本稿では,事前学習言語モデルで学習した自己注意重み行列のみに基づいて,アウトアソシエーションスコアをスパンセグメンテーションのための構文距離として計算する,教師なし構成型パーシングモデルUPOAを提案する。 さらに,スパンの可能性を推定するために,アソシエーションスコアと外部アソシエーションスコアの両方を活用した拡張版upioを提案する。 UPOAとUPIOによる実験では、クエリの線形射影行列と自己保持機構のキーが解析において重要な役割を果たすことが明らかになった。 したがって、教師なしモデルからいくつかの注釈付き木を用いて解析のための線形射影行列を学習する少数ショット解析モデル(FPOA, FPIO)に拡張する。 Penn Treebankの実験では、教師なし構文解析モデルUPIOが短い文(長さ<=10)で、アートの状態に匹敵する結果が得られることを示した。 FPIOは20本の注釈付き木で訓練され、50本の注釈付き木で訓練された過去の数枚の構文解析よりも優れていた。 クロスリンガル構文解析の実験により、教師なし構文解析法と少数ショット構文解析法の両方が、spmrlのほとんどの言語(seddah et al., 2013)の以前の手法よりも優れていることが示された。

関連論文リスト

• Contextual Distortion Reveals Constituency: Masked Language Models are Implicit Parsers [7.558415495951758]
  マスク付き言語モデル(LM)から解析木を抽出する新しい手法を提案する。 本手法は,言語摂動による文脈表現の歪みに基づいて,各スパンのスコアを算出する。 本手法は,マスク付きLMを用いた英語における従来の最先端手法を一貫して上回り,多言語環境での優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T13:10:48Z)
• A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing [44.72809363746258]
  本稿では,既存の単純な構文解析手法であるトップダウンとボトムアップと,トランスフォーマーに基づく事前学習言語モデルを統合することで,強力なベースラインを探求する。 2つのベンチマークデータセットから得られた実験結果は、解析性能が解析戦略よりも事前訓練された言語モデルに依存していることを示している。
  論文  参考訳（メタデータ） (2022-10-15T18:38:08Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
  本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。 モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
  論文  参考訳（メタデータ） (2022-04-06T06:29:52Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Latent Tree Learning with Ordered Neurons: What Parses Does It Produce? [2.025491206574996]
  潜在木学習モデルは、人間に注釈を付けた木構造に触れることなく、選挙区解析を学習することができる。 ON-LSTMは言語モデリングのトレーニングを受けており、教師なし構文解析の最先端性能を持つ。 私たちは、異なる再起動でモデルを複製し、それらのパースを調べます。
  論文  参考訳（メタデータ） (2020-10-10T07:12:48Z)
• Span-based Semantic Parsing for Compositional Generalization [53.24255235340056]
  SpanBasedSPは入力発話上のスパンツリーを予測し、部分的なプログラムが入力内のスパンをどのように構成するかを明示的に符号化する。 GeoQuery、SCAN、CLOSUREでは、SpanBasedSPはランダムスプリットの強いseq2seqベースラインと似ているが、構成一般化を必要とするスプリットのベースラインに比べて劇的に性能が向上する。
  論文  参考訳（メタデータ） (2020-09-13T16:42:18Z)
• Efficient Constituency Parsing by Pointing [21.395573911155495]
  本稿では,解析問題を一連のポインティングタスクにキャストする新しい選挙区解析モデルを提案する。 我々のモデルは効率的なトップダウンデコーディングをサポートしており、我々の学習目的は、高価なCKY推論に頼ることなく、構造的一貫性を強制することができる。
  論文  参考訳（メタデータ） (2020-06-24T08:29:09Z)
• Towards Instance-Level Parser Selection for Cross-Lingual Transfer of Dependency Parsers [59.345145623931636]
  我々は、インスタンスレベルの選択(ILPS)という、新しい言語間移動パラダイムを論じる。 本稿では,デレキシライズドトランスファーの枠組みにおけるインスタンスレベルの選択に着目した概念実証研究を提案する。
  論文  参考訳（メタデータ） (2020-04-16T13:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。