論文の概要: Revisiting the Practical Effectiveness of Constituency Parse Extraction from Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2211.00479v1
• Date: Thu, 15 Sep 2022 09:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-26 11:58:40.376248
• Title: Revisiting the Practical Effectiveness of Constituency Parse Extraction from Pre-trained Language Models
• Title（参考訳）: 事前学習した言語モデルからのコンスティテュートパース抽出の実際的有効性の検討
• Authors: Taeuk Kim
• Abstract要約: CPE-PLM (Constituency Parse extract from Pre-trained Language Models) は、事前訓練された言語モデルの内部知識にのみ依存する選挙区解析木を誘導しようとする最近のパラダイムである。 CPE-PLM は,数ショット設定での教師付き構文解析よりも有効であることを示す。
• 参考スコア（独自算出の注目度）: 6.850627526999892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constituency Parse Extraction from Pre-trained Language Models (CPE-PLM) is a recent paradigm that attempts to induce constituency parse trees relying only on the internal knowledge of pre-trained language models. While attractive in the perspective that similar to in-context learning, it does not require task-specific fine-tuning, the practical effectiveness of such an approach still remains unclear, except that it can function as a probe for investigating language models' inner workings. In this work, we mathematically reformulate CPE-PLM and propose two advanced ensemble methods tailored for it, demonstrating that the new parsing paradigm can be competitive with common unsupervised parsers by introducing a set of heterogeneous PLMs combined using our techniques. Furthermore, we explore some scenarios where the trees generated by CPE-PLM are practically useful. Specifically, we show that CPE-PLM is more effective than typical supervised parsers in few-shot settings.
• Abstract（参考訳）: CPE-PLM (Constituency Parse extract from Pre-trained Language Models) は、事前訓練された言語モデルの内部知識にのみ依存する選挙区解析木を誘導しようとする最近のパラダイムである。 文脈内学習と同様にタスク固有の微調整を必要としないという観点からは魅力的だが、言語モデルの内部動作を調査するためのプローブとして機能するが、そのようなアプローチの実際的有効性はまだ不明である。 本研究では,CPE-PLMを数学的に再構成し,それに適した2つの高度なアンサンブル手法を提案する。 さらに,CPE-PLMが生成する木が実際に有用であるシナリオについても検討する。 具体的には,cpe-plmは,数ショット設定において,通常の教師付きパーサよりも効果的であることを示す。

関連論文リスト

• Distilling Monolingual and Crosslingual Word-in-Context Representations [18.87665111304974]
  本研究では,単言語と言語間の両方の設定において,事前学習した言語モデルから文脈における単語の意味表現を除去する手法を提案する。 本手法では,事前学習したモデルのコーパスやパラメータの更新は不要である。 本手法は,事前学習したモデルの異なる隠れ層の出力を自己注意を用いて組み合わせることから学習する。
  論文  参考訳（メタデータ） (2024-09-13T11:10:16Z)
• Mixture-of-Linguistic-Experts Adapters for Improving and Interpreting Pre-trained Language Models [22.977852629450346]
  本稿では,言語モデルに言語構造を注入することで,2つの人気のある研究領域を組み合わせる手法を提案する。 本研究では,異なる言語構造をコードする並列アダプタモジュールを,Mixture-of-Linguistic-Expertsアーキテクチャを用いて組み合わせる。 実験の結果,本手法はパラメータ数に比較して,最先端のPEFT法より優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T23:29:06Z)
• PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase Generation [61.05254852400895]
  Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。 このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
  論文  参考訳（メタデータ） (2023-05-26T07:42:38Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)
• A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing [44.72809363746258]
  本稿では,既存の単純な構文解析手法であるトップダウンとボトムアップと,トランスフォーマーに基づく事前学習言語モデルを統合することで,強力なベースラインを探求する。 2つのベンチマークデータセットから得られた実験結果は、解析性能が解析戦略よりも事前訓練された言語モデルに依存していることを示している。
  論文  参考訳（メタデータ） (2022-10-15T18:38:08Z)
• Unsupervised and Few-shot Parsing from Pretrained Language Models [56.33247845224995]
  本研究では,事前学習言語モデルで学習した自己注意重み行列に基づいて,アウトアソシエーションスコアを算出した教師なし構成的パーシングモデルを提案する。 教師なしモデルからいくつかの注釈付き木を用いた数ショット構文解析モデルに拡張し、解析のためのより優れた線形射影行列を学習する。 FPIOは20本の注釈付き木で訓練され、50本の注釈付き木で訓練された過去の数枚の構文解析よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-10T10:29:15Z)
• Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
  本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。 モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
  論文  参考訳（メタデータ） (2022-04-06T06:29:52Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• Multilingual Chart-based Constituency Parse Extraction from Pre-trained Language Models [21.2879567125422]
  本稿では,事前学習した言語モデルから完全(バイナリ)構文を抽出する手法を提案する。 本手法を多言語 PLM に適用することにより,9つの言語から文に対する非自明なパースを導き出すことができる。
  論文  参考訳（メタデータ） (2020-04-08T05:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。