論文の概要: Syntax Role for Neural Semantic Role Labeling
- arxiv url: http://arxiv.org/abs/2009.05737v1
- Date: Sat, 12 Sep 2020 07:01:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 07:57:47.562206
- Title: Syntax Role for Neural Semantic Role Labeling
- Title(参考訳): 神経意味的役割ラベリングにおける構文の役割
- Authors: Zuchao Li, Hai Zhao, Shexia He, Jiaxun Cai
- Abstract要約: 意味的役割ラベリング(SRL)は、文の意味的述語・代名詞構造を認識することを目的としている。
従来のモデルでは、構文情報はSRLのパフォーマンスに顕著な貢献をする可能性がある。
最近の神経SRL研究は、構文情報は神経意味的役割のラベル付けにおいてはるかに重要でないことを示している。
- 参考スコア(独自算出の注目度): 77.5166510071142
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic role labeling (SRL) is dedicated to recognizing the semantic
predicate-argument structure of a sentence. Previous studies in terms of
traditional models have shown syntactic information can make remarkable
contributions to SRL performance; however, the necessity of syntactic
information was challenged by a few recent neural SRL studies that demonstrate
impressive performance without syntactic backbones and suggest that syntax
information becomes much less important for neural semantic role labeling,
especially when paired with recent deep neural network and large-scale
pre-trained language models. Despite this notion, the neural SRL field still
lacks a systematic and full investigation on the relevance of syntactic
information in SRL, for both dependency and both monolingual and multilingual
settings. This paper intends to quantify the importance of syntactic
information for neural SRL in the deep learning framework. We introduce three
typical SRL frameworks (baselines), sequence-based, tree-based, and
graph-based, which are accompanied by two categories of exploiting syntactic
information: syntax pruning-based and syntax feature-based. Experiments are
conducted on the CoNLL-2005, 2009, and 2012 benchmarks for all languages
available, and results show that neural SRL models can still benefit from
syntactic information under certain conditions. Furthermore, we show the
quantitative significance of syntax to neural SRL models together with a
thorough empirical survey using existing models.
- Abstract(参考訳): 意味的役割ラベリング(SRL)は文の意味的述語・代名詞構造を認識することを目的としている。
従来のモデルでは、構文情報はSRLのパフォーマンスに顕著な貢献をすることが示されたが、構文情報の必要性は、構文バックボーンを使わずに印象的なパフォーマンスを示すいくつかのニューラルSRL研究によって問題視され、特に最近のディープニューラルネットワークと大規模事前訓練言語モデルと組み合わせた場合、構文情報が神経意味的役割ラベリングにおいてはるかに重要でないことが示唆された。
この概念にもかかわらず、神経SRLフィールドは、依存と単言語および多言語設定の両方において、SRLの構文情報の関連性に関する体系的かつ完全な研究をまだ欠いている。
本稿では,ディープラーニングフレームワークにおけるニューラルSRLの構文情報の重要性を定量化する。
3つの典型的なsrlフレームワーク(ベースライン、シーケンスベース、ツリーベース、グラフベース)を導入し、構文情報を活用している2つのカテゴリ(構文プルーニングベースと構文機能ベース)を紹介します。
実験はCoNLL-2005、2009、2012のすべての言語に対するベンチマークで行われ、その結果、神経SRLモデルは特定の条件下での構文情報から恩恵を受けることができることが示された。
さらに、既存のモデルを用いた徹底的な実証調査とともに、ニューラルSRLモデルに対する構文の定量的意義を示す。
関連論文リスト
- Constructing Word-Context-Coupled Space Aligned with Associative
Knowledge Relations for Interpretable Language Modeling [0.0]
事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。
解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。
我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
論文 参考訳(メタデータ) (2023-05-19T09:26:02Z) - Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。
NSRは神経知覚、構文解析、意味推論を統合している。
我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文 参考訳(メタデータ) (2022-10-04T13:27:38Z) - Transition-based Semantic Role Labeling with Pointer Networks [0.40611352512781856]
本稿では,1つの左から右へのパスで入力文を完全に処理できる,トランジッションベースのSRLアプローチを提案する。
Pointer Networksをベースとした実装のおかげで、完全なSRLは$O(n2)$で正確かつ効率的に実行できる。
論文 参考訳(メタデータ) (2022-05-20T08:38:44Z) - Neuro-Symbolic Reinforcement Learning with First-Order Logic [63.003353499732434]
論理ニューラルネットワークと呼ばれる最近のニューラルシンボリック・フレームワークを用いたテキストベースゲームのための新しいRL手法を提案する。
実験の結果,提案手法を用いたRLトレーニングは,TextWorldベンチマークにおいて,他の最先端のニューロシンボリック手法よりもはるかに高速に収束することがわかった。
論文 参考訳(メタデータ) (2021-10-21T08:21:49Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳(メタデータ) (2021-06-24T15:38:34Z) - Neural Unsupervised Semantic Role Labeling [48.69930912510414]
セマンティックロールラベリングのための最初の神経教師なしモデルを提案する。
タスクを2つの引数関連サブタスク、識別とクラスタリングとして分解する。
CoNLL-2009英語データセットの実験では、我々のモデルは過去の最先端のベースラインよりも優れていた。
論文 参考訳(メタデータ) (2021-04-19T04:50:16Z) - NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。
NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。
NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
論文 参考訳(メタデータ) (2020-12-09T13:02:44Z) - Structural Supervision Improves Few-Shot Learning and Syntactic
Generalization in Neural Language Models [47.42249565529833]
人間は最小限の経験から単語に関する構造的特性を学ぶことができる。
我々は、現代のニューラル言語モデルがこの行動を英語で再現する能力を評価する。
論文 参考訳(メタデータ) (2020-10-12T14:12:37Z) - Syntax Representation in Word Embeddings and Neural Networks -- A Survey [4.391102490444539]
本稿では,単語表現に含まれる統語的情報量を評価するためのアプローチについて述べる。
主に、言語モデリングタスクにおける英語単言語データの再検討について要約する。
本稿では,どの事前学習モデルと言語表現が構文的タスクに最も適しているかを説明する。
論文 参考訳(メタデータ) (2020-10-02T15:44:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。