論文の概要: An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies

• arxiv url: http://arxiv.org/abs/2002.07775v2
• Date: Fri, 25 Sep 2020 09:45:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 18:59:11.442123
• Title: An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies
• Title（参考訳）: 型付き依存を用いた文意味モデリングのための拡張木lstmアーキテクチャ
• Authors: Jeena Kleenankandy, K. A. Abdul Nazeer (Department of Computer Science and Engineering, National Institute of Technology Calicut, Kerala, India)
• Abstract要約: Tree-based Long short term memory (LSTM) ネットワークは、言語テキストの意味をモデル化するための最先端技術となっている。 本稿では、シーケンスの2つの入力間の関係をモデル化できる、リレーショナルゲートLSTMと呼ばれる拡張LSTMアーキテクチャを提案する。 また、文依存解析構造と依存型を用いて、文の意味を密度の高いベクトルに埋め込むTyped Dependency Tree-LSTMモデルを導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree-based Long short term memory (LSTM) network has become state-of-the-art for modeling the meaning of language texts as they can effectively exploit the grammatical syntax and thereby non-linear dependencies among words of the sentence. However, most of these models cannot recognize the difference in meaning caused by a change in semantic roles of words or phrases because they do not acknowledge the type of grammatical relations, also known as typed dependencies, in sentence structure. This paper proposes an enhanced LSTM architecture, called relation gated LSTM, which can model the relationship between two inputs of a sequence using a control input. We also introduce a Tree-LSTM model called Typed Dependency Tree-LSTM that uses the sentence dependency parse structure as well as the dependency type to embed sentence meaning into a dense vector. The proposed model outperformed its type-unaware counterpart in two typical NLP tasks - Semantic Relatedness Scoring and Sentiment Analysis, in a lesser number of training epochs. The results were comparable or competitive with other state-of-the-art models. Qualitative analysis showed that changes in the voice of sentences had little effect on the model's predicted scores, while changes in nominal (noun) words had a more significant impact. The model recognized subtle semantic relationships in sentence pairs. The magnitudes of learned typed dependencies embeddings were also in agreement with human intuitions. The research findings imply the significance of grammatical relations in sentence modeling. The proposed models would serve as a base for future researches in this direction.
• Abstract（参考訳）: 木ベースのLong short term memory(LSTM)ネットワークは、文法構文を効果的に活用し、文の単語間の非線形依存を効果的に活用できるため、言語テキストの意味をモデル化するための最先端技術となっている。 しかし、これらのモデルの多くは文構造において文法的関係(タイプド依存(typed dependencies)とも呼ばれる)のタイプを認めていないため、単語や句の意味的役割の変化による意味の違いを認識できない。 本稿では、制御入力を用いてシーケンスの2つの入力間の関係をモデル化できる、リレーショナルゲートLSTMと呼ばれる拡張LSTMアーキテクチャを提案する。 また、文依存解析構造と依存型を用いて、文の意味を密度の高いベクトルに埋め込む、Typed Dependency Tree-LSTMモデルも導入した。 提案したモデルは,2つの典型的なNLPタスクであるセマンティック相対性スコアリングと感性分析において,より少ない数のトレーニングエポックにおいて,そのタイプ非認識よりも優れていた。 結果は、他の最先端モデルと同等か、あるいは競合するものだった。 質的分析により、文の声の変化はモデルの予測スコアにほとんど影響を与えなかったが、名目(名詞)の単語の変化はより大きな影響を与えた。 モデルは文対の微妙な意味関係を認識する。 学習された型付き依存関係の埋め込みの大きさも人間の直感と一致していた。 この研究は文のモデリングにおける文法的関係の重要性を示唆している。 提案されたモデルは、この方向への将来の研究の基盤となる。

関連論文リスト

• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Recognizing semantic relation in sentence pairs using Tree-RNNs and Typed dependencies [0.0]
  本研究では,依存性解析で同定された文法的関係型を用いた依存性ツリーRNN(DT-RNN)の改良を提案する。 SICKデータセットを用いた文対における意味関連性スコアリング(SRS)とテキストエンタテインメント(RTE)の認識実験は,有意な結果を示す。
  論文  参考訳（メタデータ） (2022-01-13T06:59:27Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)
• High-order Semantic Role Labeling [86.29371274587146]
  本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。 これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。 CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
  論文  参考訳（メタデータ） (2020-10-09T15:33:54Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• Influence Paths for Characterizing Subject-Verb Number Agreement in LSTM Language Models [22.826154706036995]
  LSTMベースのリカレントニューラルネットワークは、多くの自然言語処理(NLP)タスクの最先端技術である。 この理解の欠如として、このタスクにおけるLSTM性能の一般性と、関連するタスクに対するそれらの適合性は不確かである。 本稿では, 繰り返し神経回路のゲートとニューロンを横断する経路として, 構造特性の因果的説明である*影響経路*を紹介する。
  論文  参考訳（メタデータ） (2020-05-03T21:10:31Z)
• Attribution Analysis of Grammatical Dependencies in LSTMs [0.043512163406551986]
  LSTM言語モデルは、構文に敏感な文法的依存関係を高い精度で捉えることが示されている。 本研究は, モデルが他の名詞と区別する能力と, 数値一致におけるLSTM性能が直接相関していることを示す。 この結果から,LSTM言語モデルが構文依存の頑健な表現を推論できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。