論文の概要: Simple Hardware-Efficient PCFGs with Independent Left and Right Productions

• arxiv url: http://arxiv.org/abs/2310.14997v1
• Date: Mon, 23 Oct 2023 14:48:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 19:26:10.752890
• Title: Simple Hardware-Efficient PCFGs with Independent Left and Right Productions
• Title（参考訳）: 左右独立生産型PCFGの簡易ハードウェア化
• Authors: Wei Liu, Songlin Yang, Yoon Kim, Kewei Tu
• Abstract要約: この研究は、独立した左右のプロダクションを持つ単純なPCFG形式であるemphSimplePCFGを導入している。 教師なしのアルゴリズムとして、我々の単純なPCFGは英語 PTB の平均 F1 65.1 を取得し、言語モデルとして、119.0 のパープレキシティを得る。
• 参考スコア（独自算出の注目度）: 77.12660133995362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling dense PCFGs to thousands of nonterminals via a low-rank parameterization of the rule probability tensor has been shown to be beneficial for unsupervised parsing. However, PCFGs scaled this way still perform poorly as a language model, and even underperform similarly-sized HMMs. This work introduces \emph{SimplePCFG}, a simple PCFG formalism with independent left and right productions. Despite imposing a stronger independence assumption than the low-rank approach, we find that this formalism scales more effectively both as a language model and as an unsupervised parser. As an unsupervised parser, our simple PCFG obtains an average F1 of 65.1 on the English PTB, and as a language model, it obtains a perplexity of 119.0, outperforming similarly-sized low-rank PCFGs. We further introduce \emph{FlashInside}, a hardware IO-aware implementation of the inside algorithm for efficiently scaling simple PCFGs.
• Abstract（参考訳）: 規則確率テンソルの低ランクパラメータ化により、高密度PCFGを何千もの非終端にスケーリングすることは、教師なし解析に有用であることが示されている。 しかし、PCFGは言語モデルとしてはまだ性能が悪く、同様にHMMも性能が劣っている。 この研究は、独立な左右のプロダクションを持つ単純なPCFG形式である \emph{SimplePCFG} を導入している。 低ランクアプローチよりも強い独立を前提としているにもかかわらず、この形式主義は言語モデルや教師なしパーサーとしてより効果的にスケールする。 教師なしのパーサとして、我々の単純なPCFGは、英語のTBで平均65.1のF1を取得し、言語モデルとして、119.0のパープレキシティを取得し、同様のサイズの低ランクPCFGよりも優れている。 さらに、簡単なPCFGを効率的にスケーリングするための内部アルゴリズムのハードウェアIO対応実装である \emph{FlashInside} についても紹介する。

関連論文リスト

• Learning Regularized Monotone Graphon Mean-Field Games [155.38727464526923]
  正規化グラフィオン平均フィールドゲーム(GMFG)の基本問題について検討する。 我々は、$lambda$-regularized GMFG の Nash Equilibrium (NE) の存在を確立する。 弱い単調なGMFGでNEを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T07:34:13Z)
• Do Transformers Parse while Predicting the Masked Word? [48.65553369481289]
  事前訓練された言語モデルが実際に構文解析を行っているかどうかは疑問視されている。 本稿では,PCFGを用いた生成モデリングの文脈において,これらの疑問に答えるための一歩を踏み出した。
  論文  参考訳（メタデータ） (2023-03-14T17:49:50Z)
• Efficient $\Phi$-Regret Minimization in Extensive-Form Games via Online Mirror Descent [49.93548413166884]
  $Phi$-Hedgeは、正規形式ゲーム(NFG)のための大規模な平衡を学習できる汎用アルゴリズムである。 EFGにおけるNash Equilibria(ゼロサム設定)、Normal-Form Coarse Correlated Equilibria(NFCCE)、Extensive-Form Correlated Equilibria(EFCE)の学習に$Phi$-Hedgeが直接利用できることを示す。 それらの設定において、emph$Phi$-Hedgeアルゴリズムは標準ミラーDescent(OMD)アルゴリズムと等価であることを示す。
  論文  参考訳（メタデータ） (2022-05-30T17:58:06Z)
• Dynamic Programming in Rank Space: Scaling Structured Inference with Low-Rank HMMs and PCFGs [35.31888995651471]
  近年の研究では、HMMやPCFGに大規模な状態空間を使うことが有益であることが判明している。 大規模状態空間での推論は特にPCFGに対して計算的に要求されている。 テンソル階数分解を利用して推論計算の複雑さを減少させる。
  論文  参考訳（メタデータ） (2022-05-01T14:58:25Z)
• PARP: Prune, Adjust and Re-Prune for Self-Supervised Speech Recognition [78.67749936030219]
  Prune-Adjust-Re-Prune (PARP) は、より優れたASR性能を実現するための細工品を発見する。 低リソースの英語および多言語ASRの実験では、事前訓練された音声SSLにスパースワークが存在する。
  論文  参考訳（メタデータ） (2021-06-10T17:32:25Z)
• Neural Bi-Lexicalized PCFG Induction [22.728124473130876]
  本稿では,L-PCFGをパラメータ化する手法を提案する。 提案手法はビレクシカルな依存関係を直接モデル化し,L-PCFGの学習と表現の複雑さを低減させる。
  論文  参考訳（メタデータ） (2021-05-31T15:00:03Z)
• PCFGs Can Do Better: Inducing Probabilistic Context-Free Grammars with Many Symbols [22.728124473130876]
  テンソル分解に基づくPCFGの新しいパラメータ化形式を提案する。 ニューラルパラメタライゼーションを新しい形式に応用し,教師なし解析性能を向上させる。 10言語のモデルを評価し、より多くのシンボルの使用の有効性を実証しています。
  論文  参考訳（メタデータ） (2021-04-28T12:25:27Z)
• The Return of Lexical Dependencies: Neural Lexicalized PCFGs [103.41187595153652]
  語彙化PCFGのニューラルモデルを提案する。 実験により、この統一されたフレームワークは、いずれかの形式主義単独で達成されるよりも、両方の表現に対してより強い結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-07-29T22:12:49Z)
• Efficient Constituency Parsing by Pointing [21.395573911155495]
  本稿では,解析問題を一連のポインティングタスクにキャストする新しい選挙区解析モデルを提案する。 我々のモデルは効率的なトップダウンデコーディングをサポートしており、我々の学習目的は、高価なCKY推論に頼ることなく、構造的一貫性を強制することができる。
  論文  参考訳（メタデータ） (2020-06-24T08:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。