論文の概要: Multiple Structural Priors Guided Self Attention Network for Language Understanding

• arxiv url: http://arxiv.org/abs/2012.14642v1
• Date: Tue, 29 Dec 2020 07:30:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 04:48:08.462160
• Title: Multiple Structural Priors Guided Self Attention Network for Language Understanding
• Title（参考訳）: 言語理解のための多元構造優先型自己注意ネットワーク
• Authors: Le Qi, Yu Zhang, Qingyu Yin, Ting Liu
• Abstract要約: 自己注意ネットワーク(SAN)は最近のNLP研究で広く利用されている。 複数構造優先型自己注意ネットワーク(MS-SAN)を提案する。 MS-SANは、新しいマルチマスクベースのマルチヘッドアテンション機構を用いて、異なる構造的先行を異なるアテンションヘッドに変換する。
• 参考スコア（独自算出の注目度）: 16.02029711414627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self attention networks (SANs) have been widely utilized in recent NLP studies. Unlike CNNs or RNNs, standard SANs are usually position-independent, and thus are incapable of capturing the structural priors between sequences of words. Existing studies commonly apply one single mask strategy on SANs for incorporating structural priors while failing at modeling more abundant structural information of texts. In this paper, we aim at introducing multiple types of structural priors into SAN models, proposing the Multiple Structural Priors Guided Self Attention Network (MS-SAN) that transforms different structural priors into different attention heads by using a novel multi-mask based multi-head attention mechanism. In particular, we integrate two categories of structural priors, including the sequential order and the relative position of words. For the purpose of capturing the latent hierarchical structure of the texts, we extract these information not only from the word contexts but also from the dependency syntax trees. Experimental results on two tasks show that MS-SAN achieves significant improvements against other strong baselines.
• Abstract（参考訳）: 自己注意ネットワーク(SAN)は最近のNLP研究で広く利用されている。 CNNやRNNとは異なり、標準のSANは通常位置に依存しないため、単語列間の構造的先行をキャプチャできない。 既存の研究では、SANに1つのマスク戦略を適用して、より豊富な構造情報のモデリングに失敗する。 本稿では,新しいマルチマスク方式のマルチヘッドアテンション機構を用いて,異なる構造先行を異なるアテンションヘッドに変換するマルチ構造優先型自己注意ネットワーク(Multiple Structure Priors Guided Self Attention Network, MS-SAN)を提案する。 特に,単語の逐次順序と相対的な位置を含む構造的前置詞の2つのカテゴリを統合する。 テキストの潜在階層構造をキャプチャするために,これらの情報を単語コンテキストだけでなく,依存構文木からも抽出する。 2つのタスクの実験結果から,MS-SANは他の強力なベースラインに対して大幅な改善が得られた。

関連論文リスト

• Revisiting Structured Sentiment Analysis as Latent Dependency Graph Parsing [38.27437431585664]
  スパンの内部構造は無視されるため、スパンの境界トークンのみが関係予測やスパン認識に使用される。 長いスパンはSSAデータセットのかなりの割合を占めており、内部構造が無視されるという問題をさらに悪化させる。 本稿では,2段階解析手法を提案し,木CRFをアルゴリズム内部に制約を課し,遅延構造を明示的にモデル化する。
  論文  参考訳（メタデータ） (2024-07-05T18:18:50Z)
• Linguistic Structure Induction from Language Models [1.8130068086063336]
  この論文は、教師なし環境で言語モデル(LM)から選挙区構造と依存関係構造を生成することに焦点を当てている。 本稿では,エンコーダネットワークにトランスフォーマーアーキテクチャを組み込んだStructFormer(SF)について詳細に検討し,その構成と依存性について述べる。 この分野の課題を分析し、対処するための6つの実験を提示します。
  論文  参考訳（メタデータ） (2024-03-11T16:54:49Z)
• LasUIE: Unifying Information Extraction with Latent Adaptive Structure-aware Generative Language Model [96.889634747943]
  全ての典型的な情報抽出タスク(UIE)を1つの生成言語モデル(GLM)で普遍的にモデル化し、大きな可能性を明らかにした。 UIE のための構文知識のパワーを完全に解放する構造対応 GLM を提案する。 7つのタスクにわたるIEベンチマークが12以上あり、私たちのシステムはベースラインのUIEシステムよりも大幅に改善されていることを示しています。
  論文  参考訳（メタデータ） (2023-04-13T04:01:14Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
  外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。 まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。 次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
  論文  参考訳（メタデータ） (2022-06-15T02:33:10Z)
• A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured Sentiment Analysis [31.05169054736711]
  言語間構造的感情分析タスクは、ソース言語からターゲット言語へ知識を伝達することを目的としている。 本稿では,暗黙的分散と明示的構造的知識を両立させた知識強化逆数モデル(textttKEAM)を提案する。 我々は5つのデータセットの実験を行い、textttKEAMと教師なしおよび教師なしの両方の手法を比較した。
  論文  参考訳（メタデータ） (2022-05-31T03:07:51Z)
• Recurrent Neural Networks with Mixed Hierarchical Structures for Natural Language Processing [13.960152426268767]
  階層構造は言語処理と自然言語処理の両方に存在している。 自然言語の階層的表現を学習するためにRNNを設計する方法は、長年にわたる課題である。 本稿では,静的境界と動的境界という2種類の境界を定義し,文書分類タスクのための多層階層構造を構築する。
  論文  参考訳（メタデータ） (2021-06-04T15:50:42Z)
• Substructure Substitution: Structured Data Augmentation for NLP [55.69800855705232]
  SUB2は、同じラベルを持つサブ構造を置換して新しい例を生成する。 より一般的なタスクでは、選挙区解析木に基づくSUB2のバリエーションを示す。 ほとんどの場合、SUB2による強化データセットによるトレーニングは、元のトレーニングセットでのトレーニングよりも優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-01-02T09:54:24Z)
• A Self-supervised Representation Learning of Sentence Structure for Authorship Attribution [3.5991811164452923]
  文の構造表現を学習するための自己教師型フレームワークを提案する。 本研究では,異なる探索タスクを用いて文の構造的表現を学習し,著者帰属タスクに活用する。
  論文  参考訳（メタデータ） (2020-10-14T02:57:10Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Hierarchical Human Parsing with Typed Part-Relation Reasoning [179.64978033077222]
  このタスクでは、人体構造をモデル化する方法が中心的なテーマである。 深層グラフネットワークの表現能力と階層的人間構造を同時に活用することを模索する。
  論文  参考訳（メタデータ） (2020-03-10T16:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。