論文の概要: PCFGs Can Do Better: Inducing Probabilistic Context-Free Grammars with Many Symbols

• arxiv url: http://arxiv.org/abs/2104.13727v1
• Date: Wed, 28 Apr 2021 12:25:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 16:55:49.818183
• Title: PCFGs Can Do Better: Inducing Probabilistic Context-Free Grammars with Many Symbols
• Title（参考訳）: PCFGは、多くのシンボルを持つ確率論的文脈自由文法を誘導する
• Authors: Songlin Yang, Yanpeng Zhao, Kewei Tu
• Abstract要約: テンソル分解に基づくPCFGの新しいパラメータ化形式を提案する。 ニューラルパラメタライゼーションを新しい形式に応用し,教師なし解析性能を向上させる。 10言語のモデルを評価し、より多くのシンボルの使用の有効性を実証しています。
• 参考スコア（独自算出の注目度）: 22.728124473130876
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Probabilistic context-free grammars (PCFGs) with neural parameterization have been shown to be effective in unsupervised phrase-structure grammar induction. However, due to the cubic computational complexity of PCFG representation and parsing, previous approaches cannot scale up to a relatively large number of (nonterminal and preterminal) symbols. In this work, we present a new parameterization form of PCFGs based on tensor decomposition, which has at most quadratic computational complexity in the symbol number and therefore allows us to use a much larger number of symbols. We further use neural parameterization for the new form to improve unsupervised parsing performance. We evaluate our model across ten languages and empirically demonstrate the effectiveness of using more symbols. Our code: https://github.com/sustcsonglin/TN-PCFG
• Abstract（参考訳）: ニューラルパラメータ化を伴う確率論的文脈自由文法(pcfgs)は教師なし句構造文法誘導に有効であることが示されている。 しかし、PCFG表現と解析の3次計算の複雑さのため、従来の手法では比較的多くの(非終端および終端)シンボルにスケールアップできない。 本研究では,シンボル数に最大2次計算量を持つテンソル分解に基づく新しいパラメータ化形式を提案する。 さらに,ニューラルパラメタライゼーションを用いて,教師なし解析性能を向上させる。 我々は10言語にまたがってモデルを評価し,より多くのシンボルの使用の有効性を実証的に実証する。 コード:https://github.com/sustcsonglin/TN-PCFG

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning [87.73401758641089]
  CoT推論による現代言語モデル(LM)の性能向上 LMは弦上の分布の族を確率的チューリングマシンと同一に表現できることを示す。
  論文  参考訳（メタデータ） (2024-06-20T10:59:02Z)
• Simple Hardware-Efficient PCFGs with Independent Left and Right Productions [77.12660133995362]
  この研究は、独立した左右のプロダクションを持つ単純なPCFG形式であるemphSimplePCFGを導入している。 教師なしのアルゴリズムとして、我々の単純なPCFGは英語 PTB の平均 F1 65.1 を取得し、言語モデルとして、119.0 のパープレキシティを得る。
  論文  参考訳（メタデータ） (2023-10-23T14:48:51Z)
• Unsupervised Discontinuous Constituency Parsing with Mildly Context-Sensitive Grammars [14.256041558454786]
  教師なし不連続構文解析のための文脈に敏感な文法を用いた文法帰納法について検討した。 提案手法はルール構造を事前に修正し,パラメータ学習を最大限に活用することに焦点を当てる。 ドイツ語とオランダ語の実験から,我々の手法は連続的かつ不連続な構造を持つ言語的に意味のある木を誘導できることが示された。
  論文  参考訳（メタデータ） (2022-12-18T18:10:45Z)
• A Neural Model for Regular Grammar Induction [8.873449722727026]
  我々は文法を計算のモデルとして扱い、正および負の例から正規文法を誘導する新しいニューラルアプローチを提案する。 我々のモデルは完全に説明可能であり、その中間結果は部分解析として直接解釈可能であり、十分なデータが得られると任意の正規文法を学習することができる。
  論文  参考訳（メタデータ） (2022-09-23T14:53:23Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• The Limitations of Limited Context for Constituency Parsing [27.271792317099045]
  Shen et al., 2018a)の構文解析アーキテクチャは、教師なし構文解析を最初に行った。 現在の構文に対するニューラルアプローチはどのような構文構造を表現できるのか? 我々は確率論的自由文法(PCFG)のサンドボックスにこの疑問を解いた。 これらのアプローチの表現力の重要な側面は、予測者がアクセス可能なコンテキストの量と方向性である。
  論文  参考訳（メタデータ） (2021-06-03T03:58:35Z)
• CANINE: Pre-training an Efficient Tokenization-Free Encoder for Language Representation [12.005340904206697]
  CANINEは、明示的なトークン化や語彙のない文字シーケンス上で直接動作する神経エンコーダです。 CanINEは、TyDi QAにおいて、比較可能なmBERTモデルを >= 1 F1 で上回っている。
  論文  参考訳（メタデータ） (2021-03-11T18:57:44Z)
• The Return of Lexical Dependencies: Neural Lexicalized PCFGs [103.41187595153652]
  語彙化PCFGのニューラルモデルを提案する。 実験により、この統一されたフレームワークは、いずれかの形式主義単独で達成されるよりも、両方の表現に対してより強い結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-07-29T22:12:49Z)
• Bootstrapping Techniques for Polysynthetic Morphological Analysis [9.655349059913888]
  ニューラルモルフォロジーアナライザをブートストラップするための言語的インフォームドアプローチを提案する。 有限状態トランスデューサからデータを生成し,エンコーダデコーダモデルを訓練する。 学習データに欠落する言語構造を「ハロシン化」し、Zipf分布から再サンプリングすることで、形態素のより自然な分布をシミュレートすることでモデルを改善する。
  論文  参考訳（メタデータ） (2020-05-03T00:35:19Z)
• Multi-Step Inference for Reasoning Over Paragraphs [95.91527524872832]
  テキスト上の複雑な推論には、自由形式の述語と論理的な連結体を理解し、連鎖する必要がある。 本稿では,ニューラルネットワークを連想させる構成モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-06T21:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。