論文の概要: Latent Tree Learning with Ordered Neurons: What Parses Does It Produce?

• arxiv url: http://arxiv.org/abs/2010.04926v1
• Date: Sat, 10 Oct 2020 07:12:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 23:02:05.612887
• Title: Latent Tree Learning with Ordered Neurons: What Parses Does It Produce?
• Title（参考訳）: 順序付けられたニューロンによる潜在木学習:どのパースを生成するか?
• Authors: Yian Zhang
• Abstract要約: 潜在木学習モデルは、人間に注釈を付けた木構造に触れることなく、選挙区解析を学習することができる。 ON-LSTMは言語モデリングのトレーニングを受けており、教師なし構文解析の最先端性能を持つ。 私たちは、異なる再起動でモデルを複製し、それらのパースを調べます。
• 参考スコア（独自算出の注目度）: 2.025491206574996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent latent tree learning models can learn constituency parsing without any exposure to human-annotated tree structures. One such model is ON-LSTM (Shen et al., 2019), which is trained on language modelling and has near-state-of-the-art performance on unsupervised parsing. In order to better understand the performance and consistency of the model as well as how the parses it generates are different from gold-standard PTB parses, we replicate the model with different restarts and examine their parses. We find that (1) the model has reasonably consistent parsing behaviors across different restarts, (2) the model struggles with the internal structures of complex noun phrases, (3) the model has a tendency to overestimate the height of the split points right before verbs. We speculate that both problems could potentially be solved by adopting a different training task other than unidirectional language modelling.
• Abstract（参考訳）: 最近の潜在木学習モデルは、人間の注釈付き木構造にさらすことなく構成解析を学ぶことができる。 そのようなモデルの1つはON-LSTM(Shen et al., 2019)であり、言語モデリングを訓練し、教師なし構文解析の最先端性能を持つ。 モデルのパフォーマンスと一貫性をよりよく理解し、その生成するパースがゴールド標準のptbパースとどのように異なるかを理解するために、異なるリスタートでモデルを複製し、パースを調べる。 その結果,(1) モデルは異なる再起動に対して合理的に一貫した解析行動を持ち,(2) モデルは複雑な名詞句の内部構造に苦しむ,(3) モデルは動詞の直前の分割点の高さを過大評価する傾向にあることがわかった。 どちらの問題も、一方向言語モデリング以外の異なるトレーニングタスクを採用することで解決できると推測する。

関連論文リスト

• Split and Rephrase with Large Language Models [2.499907423888049]
  Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。 タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
  論文  参考訳（メタデータ） (2023-12-18T10:16:37Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Unsupervised and Few-shot Parsing from Pretrained Language Models [56.33247845224995]
  本研究では,事前学習言語モデルで学習した自己注意重み行列に基づいて,アウトアソシエーションスコアを算出した教師なし構成的パーシングモデルを提案する。 教師なしモデルからいくつかの注釈付き木を用いた数ショット構文解析モデルに拡張し、解析のためのより優れた線形射影行列を学習する。 FPIOは20本の注釈付き木で訓練され、50本の注釈付き木で訓練された過去の数枚の構文解析よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-10T10:29:15Z)
• Second-Order Unsupervised Neural Dependency Parsing [52.331561380948564]
  ほとんどの教師なし依存は、親子情報のみを考慮した一階確率的生成モデルに基づいている。 親子や兄弟姉妹の情報を組み込んだ教師なし神経依存モデルの2階拡張を提案する。 我々のジョイントモデルは、完全なWSJテストセットにおける前の最先端技術よりも10%改善します。
  論文  参考訳（メタデータ） (2020-10-28T03:01:33Z)
• Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle [88.65264818967489]
  我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。 モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。 実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-10-21T17:39:15Z)
• Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
  自然および合成言語に対する文脈自由文法の生成特性をモデル化する。 潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。 また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:47:16Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies [0.0]
  Tree-based Long short term memory (LSTM) ネットワークは、言語テキストの意味をモデル化するための最先端技術となっている。 本稿では、シーケンスの2つの入力間の関係をモデル化できる、リレーショナルゲートLSTMと呼ばれる拡張LSTMアーキテクチャを提案する。 また、文依存解析構造と依存型を用いて、文の意味を密度の高いベクトルに埋め込むTyped Dependency Tree-LSTMモデルを導入する。
  論文  参考訳（メタデータ） (2020-02-18T18:10:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。