論文の概要: Word Interdependence Exposes How LSTMs Compose Representations

• arxiv url: http://arxiv.org/abs/2004.13195v1
• Date: Mon, 27 Apr 2020 21:48:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 04:08:53.992667
• Title: Word Interdependence Exposes How LSTMs Compose Representations
• Title（参考訳）: 単語相互依存はLSTMがどのように表現を構成するかを示す
• Authors: Naomi Saphra and Adam Lopez
• Abstract要約: NLPにおける最近の研究は、LSTM言語モデルが言語データの構成構造を捉えていることを示している。 LSTMにおける単語の意味間の相互依存度を,内部ゲートでの相互作用に基づく新しい尺度として提示する。
• 参考スコア（独自算出の注目度）: 18.34617849764921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work in NLP shows that LSTM language models capture compositional structure in language data. For a closer look at how these representations are composed hierarchically, we present a novel measure of interdependence between word meanings in an LSTM, based on their interactions at the internal gates. To explore how compositional representations arise over training, we conduct simple experiments on synthetic data, which illustrate our measure by showing how high interdependence can hurt generalization. These synthetic experiments also illustrate a specific hypothesis about how hierarchical structures are discovered over the course of training: that parent constituents rely on effective representations of their children, rather than on learning long-range relations independently. We further support this measure with experiments on English language data, where interdependence is higher for more closely syntactically linked word pairs.
• Abstract（参考訳）: NLPにおける最近の研究は、LSTM言語モデルが言語データの構成構造を捉えていることを示している。 これらの表現が階層的にどのように構成されるかをより詳しく見るため、内部ゲートでの相互作用に基づいて、LSTMにおける単語の意味間の相互依存の新たな尺度を提案する。 学習中に構成表現がどのように生じるかを調べるため、我々は合成データの簡単な実験を行い、相互依存がいかに一般化を損なうかを示す。 これらの合成実験はまた、トレーニングの過程で階層構造がどのように発見されたかという特定の仮説を示している:親構成員は、長距離関係を独立に学ぶのではなく、子供の効果的な表現に依存している。 さらに,この尺度を英語データを用いた実験でサポートし,より緊密に結合された単語対に対して相互依存度が高くなった。

関連論文リスト

• Knowing Your Nonlinearities: Shapley Interactions Reveal the Underlying Structure of Data [8.029715695737567]
  我々はShapley Taylorインタラクション指標(STII)を用いて、基礎となるデータ構造がモデル表現に与える影響を分析する。 マスキングおよび自己回帰言語モデル(MLとALM)の言語構造を考えると,STIIは慣用表現内で増加することが分かる。 本研究の音声モデルでは, 音素の開口度が音素の文脈によってどの程度変化するかを, 音素の主成分として反映している。
  論文  参考訳（メタデータ） (2024-03-19T19:13:22Z)
• Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
  テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
  論文  参考訳（メタデータ） (2023-01-22T08:02:23Z)
• Probing for Constituency Structure in Neural Language Models [11.359403179089817]
  我々は、Penn Treebank (PTB)で表される構成構造に焦点をあてる。 4つの事前訓練されたトランスフォーマーLMが,我々の探索作業において高い性能を得ることがわかった。 完全な選挙区木をLM表現から線形に分離できることを示す。
  論文  参考訳（メタデータ） (2022-04-13T07:07:37Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• Imposing Relation Structure in Language-Model Embeddings Using Contrastive Learning [30.00047118880045]
  グラフ構造における関係をエンコードするために文埋め込みを訓練する新しいコントラスト学習フレームワークを提案する。 結果として得られた関係認識文の埋め込みは、関係抽出タスクにおける最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-09-02T10:58:27Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)
• High-order Semantic Role Labeling [86.29371274587146]
  本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。 これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。 CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
  論文  参考訳（メタデータ） (2020-10-09T15:33:54Z)
• LSTMs Compose (and Learn) Bottom-Up [18.34617849764921]
  NLPにおける最近の研究は、LSTM言語モデルが言語データの階層構造を捉えていることを示している。 既存の研究とは対照的に,その構成行動に繋がるテキスト学習のプロセスを考える。 本稿では,LSTMにおける単語の意味間の分解的相互依存性を,ゲート間の相互作用に基づいて測定する。
  論文  参考訳（メタデータ） (2020-10-06T13:00:32Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• Attribution Analysis of Grammatical Dependencies in LSTMs [0.043512163406551986]
  LSTM言語モデルは、構文に敏感な文法的依存関係を高い精度で捉えることが示されている。 本研究は, モデルが他の名詞と区別する能力と, 数値一致におけるLSTM性能が直接相関していることを示す。 この結果から,LSTM言語モデルが構文依存の頑健な表現を推論できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。