論文の概要: An Empirical Study of Compound PCFGs
- arxiv url: http://arxiv.org/abs/2103.02298v1
- Date: Wed, 3 Mar 2021 10:24:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-04 15:03:25.358700
- Title: An Empirical Study of Compound PCFGs
- Title(参考訳): 複合PCFGの実証的研究
- Authors: Yanpeng Zhao, Ivan Titov
- Abstract要約: 複合確率的文脈自由文法(C-PCFGs)は,最近,句構造文法誘導のための新しい手法を確立した。
本研究は,C-PCFGを高速に実装して,2019年度のコンペティションを補完する評価を行うものである。
- 参考スコア(独自算出の注目度): 42.06828478417792
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Compound probabilistic context-free grammars (C-PCFGs) have recently
established a new state of the art for phrase-structure grammar induction.
However, due to the high time-complexity of chart-based representation and
inference, it is difficult to investigate them comprehensively. In this work,
we rely on a fast implementation of C-PCFGs to conduct evaluation complementary
to that of~\citet{kim-etal-2019-compound}. We highlight three key findings: (1)
C-PCFGs are data-efficient, (2) C-PCFGs make the best use of global
sentence-level information in preterminal rule probabilities, and (3) the best
configurations of C-PCFGs on English do not always generalize to
morphology-rich languages.
- Abstract(参考訳): 複合確率的文脈自由文法(C-PCFGs)は,最近,句構造文法誘導のための新しい手法を確立した。
しかし,チャートに基づく表現と推論の時間的複雑度が高いため,それらを総合的に検討することは困難である。
本研究では,C-PCFGを高速に実装して,~\citet{kim-etal-2019-compound} と相補的な評価を行う。
1)C-PCFGはデータ効率が高い,(2)C-PCFGはグローバル文レベルの情報を最大限に活用する,(3)英語におけるC-PCFGの最適な構成は,常に形態豊かな言語に一般化されるとは限らない。
関連論文リスト
- Simple Hardware-Efficient PCFGs with Independent Left and Right
Productions [77.12660133995362]
この研究は、独立した左右のプロダクションを持つ単純なPCFG形式であるemphSimplePCFGを導入している。
教師なしのアルゴリズムとして、我々の単純なPCFGは英語 PTB の平均 F1 65.1 を取得し、言語モデルとして、119.0 のパープレキシティを得る。
論文 参考訳(メタデータ) (2023-10-23T14:48:51Z) - Convergence and Diversity in the Control Hierarchy [134.09048604473793]
4つの形式主義は弱同値であるだけでなく、d-弱同値(d-weak equivalence)と呼ばれるより厳密な意味で等価であることを示す。
CFGを制御するCFGはTAGであり、PDAを制御するPDAは組み込みPDAであり、CFGを制御するPDAはLIGである。
このファミリーの4番目のメンバーであるCFGは、我々が知っているいかなる形式主義にも対応しないので、我々はそれを発明し、それをプッシュダウン随伴オートマトン(Pushdown Adjoining Automaton)と呼ぶ。
論文 参考訳(メタデータ) (2023-06-06T12:30:29Z) - Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。
本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。
我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
論文 参考訳(メタデータ) (2023-05-23T04:28:16Z) - Re-evaluating the Need for Multimodal Signals in Unsupervised Grammar Induction [119.07444667700473]
近年の研究では、マルチモーダルな学習インプットが文法誘導を改善することが示されている。
LC-PCFGと呼ぶ強力なテキストのみのベースラインを設計する。
LC-PCFGは、最先端のマルチモーダル文法誘導法と比較して最大17%改善したコーパスF1を提供する。
論文 参考訳(メタデータ) (2022-12-20T18:59:50Z) - Initialisation and Grammar Design in Grammar-Guided Evolutionary
Computation [0.0]
遺伝的プログラミング(CFG-GP)はランダム検索やGEよりも初期化や文法設計に敏感でないことを示す。
また,CFG-GPによる測定結果の低さは,簡単なチューニングパラメータの調整によって管理されることを示した。
論文 参考訳(メタデータ) (2022-04-15T10:15:40Z) - Compositional Generalization Requires Compositional Parsers [69.77216620997305]
直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。
構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
論文 参考訳(メタデータ) (2022-02-24T07:36:35Z) - Neural Bi-Lexicalized PCFG Induction [22.728124473130876]
本稿では,L-PCFGをパラメータ化する手法を提案する。
提案手法はビレクシカルな依存関係を直接モデル化し,L-PCFGの学習と表現の複雑さを低減させる。
論文 参考訳(メタデータ) (2021-05-31T15:00:03Z) - PCFGs Can Do Better: Inducing Probabilistic Context-Free Grammars with
Many Symbols [22.728124473130876]
テンソル分解に基づくPCFGの新しいパラメータ化形式を提案する。
ニューラルパラメタライゼーションを新しい形式に応用し,教師なし解析性能を向上させる。
10言語のモデルを評価し、より多くのシンボルの使用の有効性を実証しています。
論文 参考訳(メタデータ) (2021-04-28T12:25:27Z) - Discriminative Learning for Probabilistic Context-Free Grammars based on
Generalized H-Criterion [0.0]
基準-Hの一般化に基づく確率的文脈自由文法(PCFG)のための識別学習アルゴリズムの一群を提示する。
論文 参考訳(メタデータ) (2021-03-15T19:07:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。