論文の概要: Efficient Second-Order TreeCRF for Neural Dependency Parsing
- arxiv url: http://arxiv.org/abs/2005.00975v2
- Date: Mon, 29 Jun 2020 06:35:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 06:32:39.859850
- Title: Efficient Second-Order TreeCRF for Neural Dependency Parsing
- Title(参考訳): ニューラル依存性解析のための効率的な2次treecrf
- Authors: Yu Zhang, Zhenghua Li, Min Zhang
- Abstract要約: ディープラーニング(DL)時代には、構文解析モデルは極めて単純化され、性能にほとんど影響を与えない。
本稿では,2階目のTreeCRF拡張について述べる。
本研究では,内部とビタビアルゴリズムをバッチ化して直接大行列演算を行う手法を提案する。
- 参考スコア(独自算出の注目度): 23.426500262860777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the deep learning (DL) era, parsing models are extremely simplified with
little hurt on performance, thanks to the remarkable capability of multi-layer
BiLSTMs in context representation. As the most popular graph-based dependency
parser due to its high efficiency and performance, the biaffine parser directly
scores single dependencies under the arc-factorization assumption, and adopts a
very simple local token-wise cross-entropy training loss. This paper for the
first time presents a second-order TreeCRF extension to the biaffine parser.
For a long time, the complexity and inefficiency of the inside-outside
algorithm hinder the popularity of TreeCRF. To address this issue, we propose
an effective way to batchify the inside and Viterbi algorithms for direct large
matrix operation on GPUs, and to avoid the complex outside algorithm via
efficient back-propagation. Experiments and analysis on 27 datasets from 13
languages clearly show that techniques developed before the DL era, such as
structural learning (global TreeCRF loss) and high-order modeling are still
useful, and can further boost parsing performance over the state-of-the-art
biaffine parser, especially for partially annotated training data. We release
our code at https://github.com/yzhangcs/crfpar.
- Abstract(参考訳): ディープラーニング(DL)時代には、コンテキスト表現における多層BiLSTMの顕著な能力のおかげで、構文解析モデルは極めて単純化され、性能にほとんど影響を与えない。
グラフベースの依存性パーサは高い効率と性能のために最も人気があり、ビスファインパーサはアーク分解仮定の下で単一の依存関係を直接スコアし、非常に単純な局所トークン単位のクロスエントロピートレーニング損失を採用する。
本稿では,バイファインパーサに2階のTreeCRF拡張を初めて提示する。
長い間、内向きアルゴリズムの複雑さと非効率さは、TreeCRFの人気を妨げてきた。
この問題に対処するため,GPU上での大きな行列演算を行うために内部アルゴリズムとビタビアルゴリズムをバッチ化し,効率的なバックプロパゲーションによって複雑な外部アルゴリズムを回避する効果的な方法を提案する。
構造学習(Global TreeCRF損失)や高次モデリング(High-order modeling)など,DL時代以前に開発された27のデータセットの実験と分析は依然として有用であり,特に注釈付きトレーニングデータにおいて,最先端のバイファインパーサに対する解析性能をさらに向上させることができる。
私たちはコードをhttps://github.com/yzhangcs/crfparでリリースします。
関連論文リスト
- Optimizing Tensor Computation Graphs with Equality Saturation and Monte Carlo Tree Search [0.0]
モンテカルロ木探索を用いて優れた表現を構築するテンソルグラフ書き換え手法を提案する。
提案手法は,既存の手法と比較して,ニューラルネットワークの推論速度を最大11%向上させる。
論文 参考訳(メタデータ) (2024-10-07T22:22:02Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳(メタデータ) (2023-10-23T01:25:44Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳(メタデータ) (2023-05-31T16:47:20Z) - Biaffine Discourse Dependency Parsing [0.0]
本稿では,バイファインモデルを用いてニューラルな談話依存解析を行い,ベースラインと比較して大幅な性能向上を実現した。
タスクにおけるアイズナーアルゴリズムとチュ・リュー・エドモンドスアルゴリズムを比較し、チュ・リュー・エドモンドスを用いることでより深い木を生成する。
論文 参考訳(メタデータ) (2022-01-12T12:56:13Z) - Structural Optimization Makes Graph Classification Simpler and Better [5.770986723520119]
モデル学習プロセスを簡素化しつつ,グラフ分類性能の向上の可能性を検討する。
構造情報アセスメントの進歩に触発されて、グラフから木をコードするデータサンプルを最適化する。
本稿では,木カーネルと畳み込みネットワークにこのスキームを実装し,グラフ分類を行う。
論文 参考訳(メタデータ) (2021-09-05T08:54:38Z) - Comparative Code Structure Analysis using Deep Learning for Performance
Prediction [18.226950022938954]
本稿では,アプリケーションの静的情報(抽象構文木やASTなど)を用いてコード構造の変化に基づいて性能変化を予測することの実現可能性を評価することを目的とする。
組込み学習手法の評価により,木系長短メモリ(LSTM)モデルでは,ソースコードの階層構造を利用して遅延表現を発見し,最大84%(個人的問題)と73%(複数の問題を含む組み合わせデータセット)の精度で性能変化を予測できることが示された。
論文 参考訳(メタデータ) (2021-02-12T16:59:12Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳(メタデータ) (2020-10-01T15:59:31Z) - A Simple Global Neural Discourse Parser [61.728994693410954]
本稿では,手作業で構築した特徴を必要とせず,学習したスパン表現のみに基づく簡易なグラフベースニューラル談話を提案する。
我々は,我々のモデルが世界規模で最高の性能を達成し,最先端の欲求に匹敵する性能を実証的に示す。
論文 参考訳(メタデータ) (2020-09-02T19:28:40Z) - Fast and Accurate Neural CRF Constituency Parsing [16.90190521285297]
この研究は、高速で正確なCRF行列計算を示す。
我々は、GPU上の大きなテンソル演算による損失に対する内部アルゴリズムをバッチ化し、効率的なバックプロパゲーションによる計算の外部アルゴリズムを避ける。
PTB, CTB5.1, CTB7の2段CRFは, w/o と w/BERT の両設定において,新しい最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2020-08-09T14:38:48Z) - PolyDL: Polyhedral Optimizations for Creation of High Performance DL
primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。
我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。
また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文 参考訳(メタデータ) (2020-06-02T06:44:09Z) - Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。
ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。
連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-04T06:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。