論文の概要: Second-Order Unsupervised Neural Dependency Parsing

• arxiv url: http://arxiv.org/abs/2010.14720v1
• Date: Wed, 28 Oct 2020 03:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 05:21:40.547619
• Title: Second-Order Unsupervised Neural Dependency Parsing
• Title（参考訳）: 2次無教師型ニューラル依存構文解析
• Authors: Songlin Yang, Yong Jiang, Wenjuan Han, Kewei Tu
• Abstract要約: ほとんどの教師なし依存は、親子情報のみを考慮した一階確率的生成モデルに基づいている。 親子や兄弟姉妹の情報を組み込んだ教師なし神経依存モデルの2階拡張を提案する。 我々のジョイントモデルは、完全なWSJテストセットにおける前の最先端技術よりも10%改善します。
• 参考スコア（独自算出の注目度）: 52.331561380948564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most of the unsupervised dependency parsers are based on first-order probabilistic generative models that only consider local parent-child information. Inspired by second-order supervised dependency parsing, we proposed a second-order extension of unsupervised neural dependency models that incorporate grandparent-child or sibling information. We also propose a novel design of the neural parameterization and optimization methods of the dependency models. In second-order models, the number of grammar rules grows cubically with the increase of vocabulary size, making it difficult to train lexicalized models that may contain thousands of words. To circumvent this problem while still benefiting from both second-order parsing and lexicalization, we use the agreement-based learning framework to jointly train a second-order unlexicalized model and a first-order lexicalized model. Experiments on multiple datasets show the effectiveness of our second-order models compared with recent state-of-the-art methods. Our joint model achieves a 10% improvement over the previous state-of-the-art parser on the full WSJ test set
• Abstract（参考訳）: 教師なしの依存関係解析のほとんどは、親子情報のみを考慮した一階確率的生成モデルに基づいている。 親子や兄弟姉妹の情報を組み込んだ教師なし神経依存モデルの2階拡張を提案する。 また,依存モデルのニューラルパラメータ化と最適化の新たな設計法を提案する。 二階モデルでは、語彙サイズの増加に伴って文法規則の数が立方体的に増加するため、何千もの単語を含む語彙化モデルの訓練が困難になる。 2次解析と語彙化の両面から恩恵を受けながらこの問題を回避するため,合意に基づく学習フレームワークを用いて2次非語彙化モデルと1次語彙化モデルを共同で学習する。 複数のデータセットの実験は、最近の最先端手法と比較して、2階モデルの有効性を示している。 我々のジョイントモデルは、全WSJテストセットにおける前回の最先端パーサよりも10%改善する。

関連論文リスト

• Learning to Diversify Neural Text Generation via Degenerative Model [39.961572541752005]
  本稿では, 2つのモデルをトレーニングすることで, 再生不良を防止する新しい手法を提案する。 まず、望ましくないパターンを増幅するように設計されたモデルをトレーニングします。 次に、第1のモデルが学べないパターンに注目して、第2のモデルの多様性を高めます。
  論文  参考訳（メタデータ） (2023-09-22T04:57:10Z)
• Artificial Interrogation for Attributing Language Models [0.0]
  この課題は、人気言語モデルの12のオープンソースベースバージョンと、テキスト生成のための12の微調整言語モデルを提供する。 コンテストの目標は、どのモデルがどのベースモデルに由来するかを特定することである。 両集合のモデルから生成された応答の類似性を測定するために4つの異なるアプローチを採用した。
  論文  参考訳（メタデータ） (2022-11-20T05:46:29Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Unsupervised and Few-shot Parsing from Pretrained Language Models [56.33247845224995]
  本研究では,事前学習言語モデルで学習した自己注意重み行列に基づいて,アウトアソシエーションスコアを算出した教師なし構成的パーシングモデルを提案する。 教師なしモデルからいくつかの注釈付き木を用いた数ショット構文解析モデルに拡張し、解析のためのより優れた線形射影行列を学習する。 FPIOは20本の注釈付き木で訓練され、50本の注釈付き木で訓練された過去の数枚の構文解析よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-10T10:29:15Z)
• Improving Contrastive Learning with Model Augmentation [123.05700988581806]
  このシーケンシャルレコメンデーションは,ユーザ行動における次の項目を予測することを目的としている。 シーケンスにおけるデータの分散性やノイズの問題から,新たな自己教師付き学習(SSL)パラダイムが提案され,性能が向上した。
  論文  参考訳（メタデータ） (2022-03-25T06:12:58Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Neural Unsupervised Semantic Role Labeling [48.69930912510414]
  セマンティックロールラベリングのための最初の神経教師なしモデルを提案する。 タスクを2つの引数関連サブタスク、識別とクラスタリングとして分解する。 CoNLL-2009英語データセットの実験では、我々のモデルは過去の最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2021-04-19T04:50:16Z)
• StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling [45.96663013609177]
  依存関係と選挙区構造を同時に誘導できる新しいモデルであるStructFormerを導入する。 我々は,新しい依存性制約自己保持機構を通じて,変換器に誘導される依存性関係を微分可能な方法で統合する。 実験結果から, 教師なし選挙区解析, 教師なし依存関係解析, マスキング言語モデリングにおいて, モデルが強い結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-01T21:54:51Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Latent Tree Learning with Ordered Neurons: What Parses Does It Produce? [2.025491206574996]
  潜在木学習モデルは、人間に注釈を付けた木構造に触れることなく、選挙区解析を学習することができる。 ON-LSTMは言語モデリングのトレーニングを受けており、教師なし構文解析の最先端性能を持つ。 私たちは、異なる再起動でモデルを複製し、それらのパースを調べます。
  論文  参考訳（メタデータ） (2020-10-10T07:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。