論文の概要: Combining Improvements for Exploiting Dependency Trees in Neural Semantic Parsing

• arxiv url: http://arxiv.org/abs/2112.13179v1
• Date: Sat, 25 Dec 2021 03:41:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-29 08:59:10.168375
• Title: Combining Improvements for Exploiting Dependency Trees in Neural Semantic Parsing
• Title（参考訳）: ニューラルセマンティックパーシングにおける依存性ツリーの爆発的改善
• Authors: Defeng Xie and Jianmin Ji and Jiafei Xu and Ran Ji
• Abstract要約: 本稿では,トランスフォーマーに基づくセマンティックパーシングシステムにおいて,そのような依存情報を組み込む3つの手法について検討する。 まず、エンコーダの標準自己注意ヘッドを、親スケール自己注意ヘッド(PASCAL)に置き換える。 その後、エンコーダに構成的注意 (CA) を挿入し、入力文の係り受け構造をよりよく把握できる付加的制約を付加する。
• 参考スコア（独自算出の注目度）: 1.0437764544103274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The dependency tree of a natural language sentence can capture the interactions between semantics and words. However, it is unclear whether those methods which exploit such dependency information for semantic parsing can be combined to achieve further improvement and the relationship of those methods when they combine. In this paper, we examine three methods to incorporate such dependency information in a Transformer based semantic parser and empirically study their combinations. We first replace standard self-attention heads in the encoder with parent-scaled self-attention (PASCAL) heads, i.e., the ones that can attend to the dependency parent of each token. Then we concatenate syntax-aware word representations (SAWRs), i.e., the intermediate hidden representations of a neural dependency parser, with ordinary word embedding to enhance the encoder. Later, we insert the constituent attention (CA) module to the encoder, which adds an extra constraint to attention heads that can better capture the inherent dependency structure of input sentences. Transductive ensemble learning (TEL) is used for model aggregation, and an ablation study is conducted to show the contribution of each method. Our experiments show that CA is complementary to PASCAL or SAWRs, and PASCAL + CA provides state-of-the-art performance among neural approaches on ATIS, GEO, and JOBS.
• Abstract（参考訳）: 自然言語文の依存木は意味論と単語の相互作用を捉えることができる。 しかし,このような依存情報を利用して意味解析を行う手法が組み合わさって,それらの手法のさらなる改良と関係性を実現することができるかどうかは不明である。 本稿では,トランスフォーマーに基づくセマンティックパーサにそのような依存情報を組み込む3つの手法について検討し,それらの組み合わせを実証的に研究する。 まず,エンコーダの標準自己注意ヘッドを,各トークンの依存性親への参加が可能な親スケール自己注意ヘッド(PASCAL)に置き換える。 次に、構文認識型単語表現(SAWR)、すなわち、ニューラル依存パーサの中間的隠蔽表現を通常の単語埋め込みと結合してエンコーダを強化する。 その後、エンコーダに構成的注意 (CA) モジュールを挿入し、入力文の固有の依存構造をよりよく把握できる追加的な制約をアテンションヘッドに追加する。 モデル集約にはトランスダクティブアンサンブル学習(tel)を用い,各手法の寄与を示すためにアブレーション研究を行った。 実験の結果,CAはPASCALやSAWRと相補的であり,PASCAL+CAはATIS,GEO,JOBSに対する神経アプローチの最先端性能を提供することがわかった。

関連論文リスト

• Dynamic Syntax Mapping: A New Approach to Unsupervised Syntax Parsing [0.0]
  本研究では,言語モデル,特に注意分布が構文依存をカプセル化できるという前提について検討する。 本稿ではこれらの構造を誘導するための革新的なアプローチである動的構文マッピング(DSM)を紹介する。 本研究により, 自然言語データの解析精度が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-18T10:34:29Z)
• mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view Contrastive Learning [54.523172171533645]
  CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。 言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。 40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-17T16:02:29Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Syntactic Structure Processing in the Brain while Listening [3.735055636181383]
  一般的な構文解析方法は2つある。 最近の研究は、脳の言語ネットワークにおける構文構造がどのように表現されているかを研究するために、脳活動予測のための選択木、インクリメンタルトップダウン解析、その他の単語構文的特徴に基づく構文的埋め込みを用いている。 筆者らは,脳のコード化モデルの予測能力について, (i) 選択性および依存性構文解析に基づく埋め込み法の性能, (ii) 基本構文信号の制御におけるこれらの構文解析に基づく埋め込み法の有効性, (iii) 制御時の各シナティクス埋め込み法の相対的効果の3つの設定で検討した。
  論文  参考訳（メタデータ） (2023-02-16T21:28:11Z)
• FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced Context-Aware Network [48.912196729711624]
  Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。 本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。 さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-19T16:31:13Z)
• Integrating Dependency Tree Into Self-attention for Sentence Representation [9.676884071651205]
  本稿では,自己認識機構と協調して機能するリレーショナルアテンション機構を適用したDependency-Transformerを提案する。 スコアベースの手法により、Transformerの並列化に影響を与えずに構文情報をインジェクトすることに成功した。 文表現のための4つのタスクにおいて、我々のモデルは最先端の手法よりも優れているか、あるいは同等である。
  論文  参考訳（メタデータ） (2022-03-11T13:44:41Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Dependency Parsing based Semantic Representation Learning with Graph Neural Network for Enhancing Expressiveness of Text-to-Speech [49.05471750563229]
  文の依存性関係を考慮したグラフニューラルネットワークに基づく意味表現学習手法を提案する。 提案手法は,LJSpeech と Bilzzard Challenge 2013 のデータセットにおいて,バニラBERT の機能をベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-14T13:09:51Z)
• Syntactic representation learning for neural network based TTS with syntactic parse tree traversal [49.05471750563229]
  本稿では,構文解析木に基づく構文表現学習手法を提案し,構文構造情報を自動的に活用する。 実験の結果,提案手法の有効性が示された。 複数の構文解析木を持つ文では、合成音声から韻律的差異が明確に認識される。
  論文  参考訳（メタデータ） (2020-12-13T05:52:07Z)
• Comparison by Conversion: Reverse-Engineering UCCA from Syntax and Lexical Semantics [29.971739294416714]
  堅牢な自然言語理解システムの構築には、さまざまな言語的意味表現が相互に補完するかどうか、明確に評価する必要がある。 i)ルールベースのコンバータ,(ii)他の情報のみを特徴として1つのフレームワークに解析する教師付きデレクシカル化の2つの相補的手法を用いて,異なるフレームワークからの意味表現間のマッピングを評価する。
  論文  参考訳（メタデータ） (2020-11-02T09:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。