論文の概要: Bridging Pre-trained Language Models and Hand-crafted Features for Unsupervised POS Tagging

• arxiv url: http://arxiv.org/abs/2203.10315v1
• Date: Sat, 19 Mar 2022 12:33:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 15:59:54.360050
• Title: Bridging Pre-trained Language Models and Hand-crafted Features for Unsupervised POS Tagging
• Title（参考訳）: 教師なしPOSタグ作成のための事前学習言語モデルと手作り特徴
• Authors: Houquan Zhou, Yang Li, Zhenghua Li, Min Zhang
• Abstract要約: 教師なしPOSタグ付けのための条件付きランダムフィールドオートエンコーダ(CRF-AE)モデルを提案する。 特徴量豊富なHMMにインスパイアされた我々は手作りの機能をCRF-AEデコーダに再導入する。 我々のモデルは、Penn Treebankと多言語Universal Dependencies Treebank v2.0に大きな差で、従来の最先端モデルよりも優れています。
• 参考スコア（独自算出の注目度）: 23.425101686779993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, large-scale pre-trained language models (PLMs) have made extraordinary progress in most NLP tasks. But, in the unsupervised POS tagging task, works utilizing PLMs are few and fail to achieve state-of-the-art (SOTA) performance. The recent SOTA performance is yielded by a Guassian HMM variant proposed by He et al. (2018). However, as a generative model, HMM makes very strong independence assumptions, making it very challenging to incorporate contexualized word representations from PLMs. In this work, we for the first time propose a neural conditional random field autoencoder (CRF-AE) model for unsupervised POS tagging. The discriminative encoder of CRF-AE can straightforwardly incorporate ELMo word representations. Moreover, inspired by feature-rich HMM, we reintroduce hand-crafted features into the decoder of CRF-AE. Finally, experiments clearly show that our model outperforms previous state-of-the-art models by a large margin on Penn Treebank and multilingual Universal Dependencies treebank v2.0.
• Abstract（参考訳）: 近年,大規模事前学習言語モデル (PLM) は,ほとんどのNLPタスクにおいて極めて進歩している。 しかし、教師なしPOSタグ付けタスクでは、PLMを利用する作業は少なく、最先端(SOTA)のパフォーマンスを達成できない。 最近のSOTAのパフォーマンスは He et al. (2018) によって提案されたGuussian HMM 変種によってもたらされる。 しかし、生成モデルとして、HMMは非常に強い独立性の仮定をしており、PLMからの同化語表現を組み込むことは非常に困難である。 本研究では,教師なしPOSタグ付けのためのニューラル条件付きランダムフィールドオートエンコーダ(CRF-AE)モデルを提案する。 CRF-AEの識別エンコーダはELMoワード表現を直接組み込むことができる。 さらに,機能豊富なHMMにヒントを得て,手作りの機能をCRF-AEデコーダに再導入する。 最後に,Penn Treebankと多言語Universal Dependencies Treebank v2.0において,我々のモデルが従来の最先端モデルよりも優れていることを示す。

関連論文リスト

• Mix of Experts Language Model for Named Entity Recognition [4.120505838411977]
  我々は,Mixture of Experts (MoE)に基づく頑健なNERモデルBOND-MoEを提案する。 NER予測のために単一のモデルに頼る代わりに、複数のモデルをトレーニングし、期待-最大化フレームワークでアンサンブルする。 実世界のデータセットを用いた実験により,提案手法は,他の遠隔教師付きNERと比較して最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-04-30T01:41:03Z)
• Enhancing Pre-Trained Generative Language Models with Question Attended Span Extraction on Machine Reading Comprehension [6.602323571343169]
  学習前生成言語モデル(PLM)の微調整段階で統合されたQASEは,その性能を著しく向上させる。 QASEモジュールの有効性は、さまざまなデータセットで厳格にテストされている。
  論文  参考訳（メタデータ） (2024-04-27T19:42:51Z)
• General Point Model with Autoencoding and Autoregressive [55.051626723729896]
  本稿では,ポイントクラウドトランスにおける自動エンコーディングと自己回帰タスクをシームレスに統合する汎用ポイントモデルを提案する。 このモデルは汎用性が高く、ダウンストリームポイントクラウド表現タスクの微調整や、条件なしおよび条件付き生成タスクが可能である。
  論文  参考訳（メタデータ） (2023-10-25T06:08:24Z)
• Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
  本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。 少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:33:21Z)
• Multilingual Sequence-to-Sequence Models for Hebrew NLP [16.010560946005473]
  シーケンス・ツー・シーケンス生成アーキテクチャはヘブライ語のような形態的にリッチな言語(MRL)により適していることを示す。 我々は,ヘブライ語NLPパイプラインのタスクをテキスト・テキスト・タスクとしてキャストすることで,マルチリンガルで事前訓練されたシーケンス・ツー・シーケンスモデルをmT5として活用できることを実証した。
  論文  参考訳（メタデータ） (2022-12-19T18:10:23Z)
• Masked Part-Of-Speech Model: Does Modeling Long Context Help Unsupervised POS-tagging? [94.68962249604749]
  フレキシブルな依存性モデリングを容易にするために,MPoSM(Masked Part-of-Speech Model)を提案する。 MPoSMは任意のタグ依存をモデル化し、マスクされたPOS再構成の目的を通じてPOS誘導を行うことができる。 英語のPenn WSJデータセットと10の多様な言語を含むユニバーサルツリーバンクの競合的な結果を得た。
  論文  参考訳（メタデータ） (2022-06-30T01:43:05Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• Scaling Hidden Markov Language Models [118.55908381553056]
  この研究は、HMMを言語モデリングデータセットに拡張するという課題を再考する。 本研究では,HMMを大規模状態空間に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2020-11-09T18:51:55Z)
• EFSG: Evolutionary Fooling Sentences Generator [5.763228702181544]
  Evolutionary Fooling Sentences Generator (EFSG) は、進化的アプローチを用いて構築されたモデルおよびタスクに依存しない敵攻撃アルゴリズムである。 BERT および RoBERTa 上の CoLA および MRPC タスクに EFSG を適用し,性能を比較した。 我々は、元のデータセットでテストした場合、精度を損なうことなく、より強力な改良モデルを得る。
  論文  参考訳（メタデータ） (2020-10-12T14:28:48Z)
• Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction [54.569707226277735]
  従来の方法はEncDecモデルに適用した場合に潜在的な欠点がある。 提案手法では, コーパスを微調整し, GECモデルに付加的な特徴として出力を微調整する。 BEA 2019とCoNLL-2014ベンチマークにおける最高のパフォーマンスモデルのパフォーマンス。
  論文  参考訳（メタデータ） (2020-05-03T04:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。