論文の概要: LSTMs Compose (and Learn) Bottom-Up

• arxiv url: http://arxiv.org/abs/2010.04650v1
• Date: Tue, 6 Oct 2020 13:00:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:27:08.245366
• Title: LSTMs Compose (and Learn) Bottom-Up
• Title（参考訳）: LSTMはボトムアップを構成する(そして学ぶ)
• Authors: Naomi Saphra and Adam Lopez
• Abstract要約: NLPにおける最近の研究は、LSTM言語モデルが言語データの階層構造を捉えていることを示している。 既存の研究とは対照的に,その構成行動に繋がるテキスト学習のプロセスを考える。 本稿では,LSTMにおける単語の意味間の分解的相互依存性を,ゲート間の相互作用に基づいて測定する。
• 参考スコア（独自算出の注目度）: 18.34617849764921
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work in NLP shows that LSTM language models capture hierarchical structure in language data. In contrast to existing work, we consider the \textit{learning} process that leads to their compositional behavior. For a closer look at how an LSTM's sequential representations are composed hierarchically, we present a related measure of Decompositional Interdependence (DI) between word meanings in an LSTM, based on their gate interactions. We connect this measure to syntax with experiments on English language data, where DI is higher on pairs of words with lower syntactic distance. To explore the inductive biases that cause these compositional representations to arise during training, we conduct simple experiments on synthetic data. These synthetic experiments support a specific hypothesis about how hierarchical structures are discovered over the course of training: that LSTM constituent representations are learned bottom-up, relying on effective representations of their shorter children, rather than learning the longer-range relations independently from children.
• Abstract（参考訳）: NLPにおける最近の研究は、LSTM言語モデルが言語データの階層構造を捉えていることを示している。 既存の作業とは対照的に、構成行動につながる \textit{learning} プロセスを考える。 LSTMの逐次表現が階層的にどのように構成されるかについて、我々はLSTMにおける単語の意味間の分解相互依存性(DI)の関連尺度を、そのゲート相互作用に基づいて提示する。 この尺度と構文を英語データを用いた実験と結びつけ,構文距離の低い単語のペアでdiが高い値を示す。 これらの構成表現を訓練中に生じさせる帰納的バイアスを調べるために,合成データに関する簡単な実験を行う。 これらの合成実験は、学習過程を通じて階層構造がどのように発見されるかについての特定の仮説を支持している:LSTM構成表現は、子供から独立した長距離関係を学ぶのではなく、より短い子どもの効果的な表現に頼っている。

関連論文リスト

• Analysis of Argument Structure Constructions in a Deep Recurrent Language Model [0.0]
  本稿では,再帰型ニューラルネットワークモデルにおけるArgument Structure Constructions(ASC)の表現と処理について検討する。 その結果, 文表現は, 全層にまたがる4つのASCに対応する異なるクラスタを形成することがわかった。 これは、脳に拘束された比較的単純なリカレントニューラルネットワークでさえ、様々な構成タイプを効果的に区別できることを示している。
  論文  参考訳（メタデータ） (2024-08-06T09:27:41Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Probing for Constituency Structure in Neural Language Models [11.359403179089817]
  我々は、Penn Treebank (PTB)で表される構成構造に焦点をあてる。 4つの事前訓練されたトランスフォーマーLMが,我々の探索作業において高い性能を得ることがわかった。 完全な選挙区木をLM表現から線形に分離できることを示す。
  論文  参考訳（メタデータ） (2022-04-13T07:07:37Z)
• Syntactic representation learning for neural network based TTS with syntactic parse tree traversal [49.05471750563229]
  本稿では,構文解析木に基づく構文表現学習手法を提案し,構文構造情報を自動的に活用する。 実験の結果,提案手法の有効性が示された。 複数の構文解析木を持つ文では、合成音声から韻律的差異が明確に認識される。
  論文  参考訳（メタデータ） (2020-12-13T05:52:07Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)
• Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models [47.42249565529833]
  人間は最小限の経験から単語に関する構造的特性を学ぶことができる。 我々は、現代のニューラル言語モデルがこの行動を英語で再現する能力を評価する。
  論文  参考訳（メタデータ） (2020-10-12T14:12:37Z)
• Influence Paths for Characterizing Subject-Verb Number Agreement in LSTM Language Models [22.826154706036995]
  LSTMベースのリカレントニューラルネットワークは、多くの自然言語処理(NLP)タスクの最先端技術である。 この理解の欠如として、このタスクにおけるLSTM性能の一般性と、関連するタスクに対するそれらの適合性は不確かである。 本稿では, 繰り返し神経回路のゲートとニューロンを横断する経路として, 構造特性の因果的説明である*影響経路*を紹介する。
  論文  参考訳（メタデータ） (2020-05-03T21:10:31Z)
• Attribution Analysis of Grammatical Dependencies in LSTMs [0.043512163406551986]
  LSTM言語モデルは、構文に敏感な文法的依存関係を高い精度で捉えることが示されている。 本研究は, モデルが他の名詞と区別する能力と, 数値一致におけるLSTM性能が直接相関していることを示す。 この結果から,LSTM言語モデルが構文依存の頑健な表現を推論できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:19:37Z)
• Word Interdependence Exposes How LSTMs Compose Representations [18.34617849764921]
  NLPにおける最近の研究は、LSTM言語モデルが言語データの構成構造を捉えていることを示している。 LSTMにおける単語の意味間の相互依存度を,内部ゲートでの相互作用に基づく新しい尺度として提示する。
  論文  参考訳（メタデータ） (2020-04-27T21:48:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。