論文の概要: Fast and Accurate Neural CRF Constituency Parsing

• arxiv url: http://arxiv.org/abs/2008.03736v1
• Date: Sun, 9 Aug 2020 14:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 04:17:20.043991
• Title: Fast and Accurate Neural CRF Constituency Parsing
• Title（参考訳）: 高速かつ高精度なCRF構成解析
• Authors: Yu Zhang, Houquan Zhou, Zhenghua Li
• Abstract要約: この研究は、高速で正確なCRF行列計算を示す。 我々は、GPU上の大きなテンソル演算による損失に対する内部アルゴリズムをバッチ化し、効率的なバックプロパゲーションによる計算の外部アルゴリズムを避ける。 PTB, CTB5.1, CTB7の2段CRFは, w/o と w/BERT の両設定において,新しい最先端性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 16.90190521285297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating probability distribution is one of the core issues in the NLP field. However, in both deep learning (DL) and pre-DL eras, unlike the vast applications of linear-chain CRF in sequence labeling tasks, very few works have applied tree-structure CRF to constituency parsing, mainly due to the complexity and inefficiency of the inside-outside algorithm. This work presents a fast and accurate neural CRF constituency parser. The key idea is to batchify the inside algorithm for loss computation by direct large tensor operations on GPU, and meanwhile avoid the outside algorithm for gradient computation via efficient back-propagation. We also propose a simple two-stage bracketing-then-labeling parsing approach to improve efficiency further. To improve the parsing performance, inspired by recent progress in dependency parsing, we introduce a new scoring architecture based on boundary representation and biaffine attention, and a beneficial dropout strategy. Experiments on PTB, CTB5.1, and CTB7 show that our two-stage CRF parser achieves new state-of-the-art performance on both settings of w/o and w/ BERT, and can parse over 1,000 sentences per second. We release our code at https://github.com/yzhangcs/crfpar.
• Abstract（参考訳）: 確率分布の推定はnlp分野の主要な問題の一つである。 しかし、深層学習(DL)とプレDLの時代において、シーケンスラベリングタスクにおける線形鎖 CRF の広大な応用とは異なり、木構造 CRF を選挙区解析に適用する研究はほとんどなく、主に内向きアルゴリズムの複雑さと非効率性のためである。 この研究は、高速で正確なCRF成分分析器を提示する。 鍵となる考え方は、GPU上の大きなテンソル演算によって損失計算の内側のアルゴリズムをバッチ化し、一方、効率的なバックプロパゲーションによる勾配計算の外側のアルゴリズムを避けることである。 また,より効率的な2段階ブラケットラベル解析手法を提案する。 依存関係解析の最近の進歩に触発された解析性能を改善するため,境界表現と双対注意に基づく新たなスコアリングアーキテクチャを導入し,有益なドロップアウト戦略を提案する。 PTB, CTB5.1, CTB7 の実験では,2段階の CRF パーサが w/o と w/BERT の両設定で新たな最先端性能を実現し,毎秒1,000文以上を解析可能である。 私たちはコードをhttps://github.com/yzhangcs/crfparでリリースします。

関連論文リスト

• Optimizing Tensor Computation Graphs with Equality Saturation and Monte Carlo Tree Search [0.0]
  モンテカルロ木探索を用いて優れた表現を構築するテンソルグラフ書き換え手法を提案する。 提案手法は,既存の手法と比較して,ニューラルネットワークの推論速度を最大11%向上させる。
  論文  参考訳（メタデータ） (2024-10-07T22:22:02Z)
• Latent Space Representations of Neural Algorithmic Reasoners [15.920449080528536]
  アルゴリズムの実行時にGNNによって誘導される潜伏空間の構造を詳細に解析する。 i) 分解能の喪失、(i) 類似した値の識別が困難、(ii) トレーニング中に観察された範囲外の値を扱うことができない、という2つの可能な障害モードを特定します。 これらの変更は、最先端のTriplet-GMPNNプロセッサを使用する場合、CLRS-30ベンチマークのアルゴリズムの大部分の改善につながることを示す。
  論文  参考訳（メタデータ） (2023-07-17T22:09:12Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond [19.544213396776268]
  我々は,高次条件場に対する汎用的で効果的なCNNベースライン推論である正規化Frank-Wolfeを導入する。 新しいアルゴリズム、新しいアルゴリズム、新しいデータセット、強力なニューラルネットワークの大幅な改善が示されています。
  論文  参考訳（メタデータ） (2021-10-27T20:44:47Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
  Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。 性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。 このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
  論文  参考訳（メタデータ） (2020-07-10T07:55:39Z)
• Efficient Second-Order TreeCRF for Neural Dependency Parsing [23.426500262860777]
  ディープラーニング(DL)時代には、構文解析モデルは極めて単純化され、性能にほとんど影響を与えない。 本稿では,2階目のTreeCRF拡張について述べる。 本研究では,内部とビタビアルゴリズムをバッチ化して直接大行列演算を行う手法を提案する。
  論文  参考訳（メタデータ） (2020-05-03T03:18:59Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。