論文の概要: Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach

• arxiv url: http://arxiv.org/abs/2005.05864v1
• Date: Tue, 12 May 2020 15:35:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 19:09:48.106739
• Title: Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach
• Title（参考訳）: 構文構造をより良い言語モデリングに活用する:構文距離アプローチ
• Authors: Wenyu Du, Zhouhan Lin, Yikang Shen, Timothy J. O'Donnell, Yoshua Bengio and Yue Zhang
• Abstract要約: 我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
• 参考スコア（独自算出の注目度）: 78.77265671634454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is commonly believed that knowledge of syntactic structure should improve language modeling. However, effectively and computationally efficiently incorporating syntactic structure into neural language models has been a challenging topic. In this paper, we make use of a multi-task objective, i.e., the models simultaneously predict words as well as ground truth parse trees in a form called "syntactic distances", where information between these two separate objectives shares the same intermediate representation. Experimental results on the Penn Treebank and Chinese Treebank datasets show that when ground truth parse trees are provided as additional training signals, the model is able to achieve lower perplexity and induce trees with better quality.
• Abstract（参考訳）: 構文構造の知識は言語モデリングを改善するべきであると一般的に信じられている。 しかし, 構文構造をニューラルネットワークモデルに効果的かつ効率的に組み込むことは, 課題となっている。 本稿では,マルチタスクの目的,すなわちモデルが単語と基底真理を同時に予測し,これら2つの異なる目的間の情報が同じ中間表現を共有する「合成距離」と呼ばれる形式で木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。

関連論文リスト

• Towards a theory of how the structure of language is acquired by deep neural networks [6.363756171493383]
  木のような生成モデルを用いて、自然言語で見られる階層構造の多くをキャプチャする。 トークンとトークンの相関は文法の隠れ変数の表現を構築するのに有効であることを示す。 トレーニングセットのサイズと効果的な相関範囲の関係は、我々の合成データセットを超えていると推測する。
  論文  参考訳（メタデータ） (2024-05-28T17:01:22Z)
• Towards Linguistically Informed Multi-Objective Pre-Training for Natural Language Inference [0.38233569758620045]
  本稿では,トランスのための事前学習手法を言語的に強化した組み合わせを提案する。 事前トレーニング対象にはPOSタグ付け、セマンティック知識グラフに基づく構文予測、依存性解析木に基づく親予測が含まれる。 提案手法は, 自然言語推論タスクにおいて, 技術状況と比較して, 競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-12-14T10:50:13Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
  本稿では,構成構文構造をグラフベースで組み込む手法を提案する。 また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。 on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
  論文  参考訳（メタデータ） (2022-02-22T07:40:42Z)
• Syntactic Persistence in Language Models: Priming as a Window into Abstract Language Representations [0.38498574327875945]
  本稿では,現代のニューラル言語モデルが統語的プライミングにどの程度影響するかについて検討する。 プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。 単語と意味の相違があるが,同じ構文構造を持つ複数の文をプライミングした場合,驚くほど強いプライミング効果が報告される。
  論文  参考訳（メタデータ） (2021-09-30T10:38:38Z)
• Learning compositional structures for semantic graph parsing [81.41592892863979]
  本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。 本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
  論文  参考訳（メタデータ） (2021-06-08T14:20:07Z)
• Unsupervised Learning of Explainable Parse Trees for Improved Generalisation [15.576061447736057]
  より有意義で説明しやすい解析木構造を学ぶために、Tree-LSTMよりも注意メカニズムを提案します。 また,提案モデルの自然言語推論,意味的関連性,感情分析タスクにおける優れた性能を示す。
  論文  参考訳（メタデータ） (2021-04-11T12:10:03Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。