論文の概要: Revisiting Supertagging for Faster HPSG Pasing
- arxiv url: http://arxiv.org/abs/2309.07590v2
- Date: Tue, 08 Oct 2024 11:21:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:28:41.460168
- Title: Revisiting Supertagging for Faster HPSG Pasing
- Title(参考訳): 高速HPSGペースティングにおけるスーパータグの再検討
- Authors: Olga Zamaraeva, Carlos Gómez-Rodríguez,
- Abstract要約: 英語文法に基づく木バンクを訓練した新しいスーパータガーを提案する。
最適なタグが解析速度と精度に与える影響を検証した。
- 参考スコア(独自算出の注目度): 13.497404066306501
- License:
- Abstract: We present new supertaggers trained on English grammar-based treebanks and test the effects of the best tagger on parsing speed and accuracy. The treebanks are produced automatically by large manually built grammars and feature high-quality annotation based on a well-developed linguistic theory (HPSG). The English Resource Grammar treebanks include diverse and challenging test datasets, beyond the usual WSJ section 23 and Wikipedia data. HPSG supertagging has previously relied on MaxEnt-based models. We use SVM and neural CRF- and BERT-based methods and show that both SVM and neural supertaggers achieve considerably higher accuracy compared to the baseline and lead to an increase not only in the parsing speed but also the parser accuracy with respect to gold dependency structures. Our fine-tuned BERT-based tagger achieves 97.26\% accuracy on 950 sentences from WSJ23 and 93.88% on the out-of-domain technical essay The Cathedral and the Bazaar (cb). We present experiments with integrating the best supertagger into an HPSG parser and observe a speedup of a factor of 3 with respect to the system which uses no tagging at all, as well as large recall gains and an overall precision gain. We also compare our system to an existing integrated tagger and show that although the well-integrated tagger remains the fastest, our experimental system can be more accurate. Finally, we hope that the diverse and difficult datasets we used for evaluation will gain more popularity in the field: we show that results can differ depending on the dataset, even if it is an in-domain one. We contribute the complete datasets reformatted for Huggingface token classification.
- Abstract(参考訳): 英語文法に基づく木バンクを訓練した新しいスーパータガーを提示し、最適なタグが解析速度と精度に与える影響を検証した。
木バンクは手作業による大規模な文法によって自動生成され、よく発達した言語理論(HPSG)に基づいた高品質なアノテーションが特徴である。
English Resource Grammar treebanksには、通常のWSJセクション23とWikipediaのデータを超えて、多様で挑戦的なテストデータセットが含まれている。
HPSGのスーパータグは、以前はMaxEntベースのモデルに依存していた。
我々は,SVMとニューラルCRFおよびBERTに基づく手法を用いて,SVMとニューラルスーパータガーの両方がベースラインよりもかなり精度が高く,解析速度だけでなく,ゴールド依存構造に対するパーサ精度も向上することを示した。
細調整されたBERTベースのタグは、WSJ23の950文に対して97.26\%の精度を達成し、ドメイン外技術エッセイであるThe Cathedral and the Bazaar (cb)で93.88%の精度を実現した。
我々は,HPSGパーサに最高のスーパータガーを組み込んだ実験を行い,タグ付けを全く使用しないシステムに対する3因子の高速化と,大きなリコールゲインと全体的な精度向上を観察する。
また,本システムと既存の統合タグと比較した結果,統合されたタグは依然として最速だが,実験システムはより正確であることがわかった。
最後に、評価に使用した多様で困難なデータセットが、この分野でより人気を得ることを期待しています。
我々はHugingfaceトークン分類のための完全なデータセットをコントリビュートする。
関連論文リスト
- Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。
拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
論文 参考訳(メタデータ) (2024-03-07T18:00:40Z) - Touch Analysis: An Empirical Evaluation of Machine Learning
Classification Algorithms on Touch Data [7.018254711671888]
個人を正しく分類するための新しいDeep Neural Net(DNN)アーキテクチャを提案する。
新機能と既存の機能を組み合わせると、SVMとkNNはそれぞれ94.7%と94.6%の分類精度を達成した。
論文 参考訳(メタデータ) (2023-11-23T20:31:48Z) - Can We Trust Race Prediction? [0.0]
私は、50州すべての有権者登録データの新しいデータセットに基づいて、Bidirectional Long Short-Term Memory (BiLSTM)モデルをトレーニングします。
アメリカにおける姓と姓の分布の包括的データベースを構築します。
私は、既存のモデルを公平に比較し、将来のモデル開発者を支援するために、最初の高品質なベンチマークデータセットを提供しています。
論文 参考訳(メタデータ) (2023-07-17T13:59:07Z) - Context-Gloss Augmentation for Improving Arabic Target Sense
Verification [1.2891210250935146]
最も一般的なアラビア語のセマンティックラベル付きデータセットはアラブ語である。
本稿では,機械のバックトランスレーションを用いて拡張することで,ArabGlossBERTデータセットの強化について述べる。
我々は、異なるデータ構成を用いて、ターゲットセンス検証(TSV)タスクにBERTを微調整する拡張の影響を計測する。
論文 参考訳(メタデータ) (2023-02-06T21:24:02Z) - Pretraining Without Attention [114.99187017618408]
本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。
BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
論文 参考訳(メタデータ) (2022-12-20T18:50:08Z) - Are we really making much progress? Revisiting, benchmarking, and
refining heterogeneous graph neural networks [38.15094159495419]
異種グラフニューラルネットワーク(HGNN)の系統的再生について述べる。
単純な同種GNN(例えばGCNとGAT)は、不適切な設定のため、大半が過小評価されている。
頑健で再現可能なHGNN研究を容易にするため、異種グラフベンチマーク(HGB)を構築した。
論文 参考訳(メタデータ) (2021-12-30T06:29:21Z) - EfficientBERT: Progressively Searching Multilayer Perceptron via Warm-up
Knowledge Distillation [82.3956677850676]
事前学習された言語モデルは、様々なNLPタスクにおいて顕著な結果を示した。
サイズが大きく、推論速度が遅いため、エッジデバイスにデプロイするのは困難である。
本稿では、BERTにおけるフィードフォワードネットワーク(FFN)の改善が、マルチヘッドアテンション(MHA)の改善よりも高い利益をもたらすという批判的な洞察を得る。
論文 参考訳(メタデータ) (2021-09-15T11:25:39Z) - Improving Semi-supervised Federated Learning by Reducing the Gradient
Diversity of Models [67.66144604972052]
Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。
テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。
本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
論文 参考訳(メタデータ) (2020-08-26T03:36:07Z) - ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。
そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。
新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
論文 参考訳(メタデータ) (2020-08-06T07:43:19Z) - DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。
これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文 参考訳(メタデータ) (2020-06-05T19:54:34Z) - Language Representation Models for Fine-Grained Sentiment Classification [2.1664197735413824]
その結果、AlBERTは他のタスクよりもはるかに精度の低下を被っているのに対し、DistilBERTは他のタスクよりも精度の低下を被っていることがわかった。
我々は、RoBERTaがSST-5ルートレベル(60.2%)の予測のための新しい最先端の精度に達することを結論付けた。
論文 参考訳(メタデータ) (2020-05-27T20:01:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。