論文の概要: Fast Rule-Based Decoding: Revisiting Syntactic Rules in Neural Constituency Parsing

• arxiv url: http://arxiv.org/abs/2212.08458v1
• Date: Fri, 16 Dec 2022 13:07:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 14:10:12.117882
• Title: Fast Rule-Based Decoding: Revisiting Syntactic Rules in Neural Constituency Parsing
• Title（参考訳）: 高速なルールベースデコーディング:ニューラルコンフィデンシーパーシングにおける統語規則の再検討
• Authors: Tianyu Shi, Zhicheng Wang, Liyin Xiao, Cong Liu
• Abstract要約: 従来の研究では、構文規則に基づく確率論的統計手法が特に選挙区解析に有効であることが示されている。 本稿では,GPUアクセラレーションを利用した高速なCKY復号法を最初に実装し,さらに構文規則に基づく(ルール制約付き)CKY復号法を導出する。
• 参考スコア（独自算出の注目度）: 9.858565876426411
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most recent studies on neural constituency parsing focus on encoder structures, while few developments are devoted to decoders. Previous research has demonstrated that probabilistic statistical methods based on syntactic rules are particularly effective in constituency parsing, whereas syntactic rules are not used during the training of neural models in prior work probably due to their enormous computation requirements. In this paper, we first implement a fast CKY decoding procedure harnessing GPU acceleration, based on which we further derive a syntactic rule-based (rule-constrained) CKY decoding. In the experiments, our method obtains 95.89 and 92.52 F1 on the datasets of PTB and CTB respectively, which shows significant improvements compared with previous approaches. Besides, our parser achieves strong and competitive cross-domain performance in zero-shot settings.
• Abstract（参考訳）: 最近の神経構成解析の研究はエンコーダ構造に焦点を当てているが、デコーダに関する開発はほとんどない。 従来の研究では、構文的規則に基づく確率論的統計手法は、特に選挙区解析に有効であるのに対し、構文的規則は、おそらく膨大な計算要求のために以前の作業でニューラルモデルの訓練に使用されないことが示されている。 本稿では,GPUアクセラレーションを利用した高速なCKY復号法を最初に実装し,さらに構文規則に基づく(ルール制約付き)CKY復号法を導出する。 実験では,ptbとctbのデータセットから95.89と92.52f1をそれぞれ取得し,従来の手法と比較して有意な改善を示した。 さらに、パーサはゼロショット設定で強力で競争力のあるクロスドメイン性能を実現する。

関連論文リスト

• Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models [20.107727903240065]
  本研究では,エンコーダに基づく言語モデルのための等方的および意味論的トークン埋め込みを再構築するために,DefindEMBを提案する。 本実験は,Wiktionaryの定義を応用し,そのような埋め込みを再構築する効果を実証する。
  論文  参考訳（メタデータ） (2024-08-02T15:00:05Z)
• Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter [57.64003871384959]
  この研究は、CTCベースのWord Spotterでコンテキストバイアスを高速化するための新しいアプローチを示す。 提案手法は,CTCログ確率をコンパクトなコンテキストグラフと比較し,潜在的なコンテキストバイアス候補を検出する。 その結果、FスコアとWERの同時改善により、文脈バイアス認識の大幅な高速化が示された。
  論文  参考訳（メタデータ） (2024-06-11T09:37:52Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• AIN: Fast and Accurate Sequence Labeling with Approximate Inference Network [75.44925576268052]
  線形鎖条件ランダム場(CRF)モデルは最も広く使われているニューラルネットワークラベリング手法の1つである。 厳密な確率的推論アルゴリズムは典型的にはCRFモデルの訓練と予測段階に適用される。 CRFモデルに対して並列化可能な近似変分推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T12:18:43Z)
• A Constraint-Based Algorithm for the Structural Learning of Continuous-Time Bayesian Networks [70.88503833248159]
  連続時間ベイズネットワークの構造を学習するための制約に基づく最初のアルゴリズムを提案する。 我々は,条件付き独立性を確立するために提案した,異なる統計的テストと基礎となる仮説について論じる。
  論文  参考訳（メタデータ） (2020-07-07T07:34:09Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• Scalable Plug-and-Play ADMM with Convergence Guarantees [24.957046830965822]
  広範に使われている変種を漸進的に提案する。 ADMMアルゴリズムにより、大規模データセットにスケーラブルになる。 理論的には,集合的明示的な仮定の下で収束アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2020-06-05T04:10:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。