論文の概要: Neural Bi-Lexicalized PCFG Induction
- arxiv url: http://arxiv.org/abs/2105.15021v1
- Date: Mon, 31 May 2021 15:00:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 22:24:56.189631
- Title: Neural Bi-Lexicalized PCFG Induction
- Title(参考訳): ニューラルバイリアライズPCFG誘導
- Authors: Songlin Yang, Yanpeng Zhao, Kewei Tu
- Abstract要約: 本稿では,L-PCFGをパラメータ化する手法を提案する。
提案手法はビレクシカルな依存関係を直接モデル化し,L-PCFGの学習と表現の複雑さを低減させる。
- 参考スコア(独自算出の注目度): 22.728124473130876
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Neural lexicalized PCFGs (L-PCFGs) have been shown effective in grammar
induction. However, to reduce computational complexity, they make a strong
independence assumption on the generation of the child word and thus bilexical
dependencies are ignored. In this paper, we propose an approach to parameterize
L-PCFGs without making implausible independence assumptions. Our approach
directly models bilexical dependencies and meanwhile reduces both learning and
representation complexities of L-PCFGs. Experimental results on the English WSJ
dataset confirm the effectiveness of our approach in improving both running
speed and unsupervised parsing performance.
- Abstract(参考訳): ニューラルレキシカル化PCFG(L-PCFGs)は文法誘導に有効であることが示されている。
しかし、計算複雑性を低減するために、子語の生成に対して強い独立性を仮定し、ビレクシカルな依存関係を無視する。
本稿では,L-PCFGをパラメータ化する手法を提案する。
提案手法はビレクシカル依存関係を直接モデル化し,L-PCFGの学習と表現の複雑さを低減させる。
英語wsjデータセットにおける実験結果は、実行速度と教師なし構文解析性能の両方を改善するための手法の有効性を確認した。
関連論文リスト
- Induction Heads as an Essential Mechanism for Pattern Matching in In-context Learning [0.0]
誘導ヘッドの最小アブレーションでもICL性能は抽象的パターン認識タスクで最大32%低下することを示す。
NLPタスクの場合、このアブレーションはモデルがサンプルから恩恵を受ける能力を大幅に低下させ、ゼロショットプロンプトに近い数ショットのICLパフォーマンスをもたらす。
論文 参考訳(メタデータ) (2024-07-09T16:29:21Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - Simple Hardware-Efficient PCFGs with Independent Left and Right
Productions [77.12660133995362]
この研究は、独立した左右のプロダクションを持つ単純なPCFG形式であるemphSimplePCFGを導入している。
教師なしのアルゴリズムとして、我々の単純なPCFGは英語 PTB の平均 F1 65.1 を取得し、言語モデルとして、119.0 のパープレキシティを得る。
論文 参考訳(メタデータ) (2023-10-23T14:48:51Z) - Re-evaluating the Need for Multimodal Signals in Unsupervised Grammar Induction [119.07444667700473]
近年の研究では、マルチモーダルな学習インプットが文法誘導を改善することが示されている。
LC-PCFGと呼ぶ強力なテキストのみのベースラインを設計する。
LC-PCFGは、最先端のマルチモーダル文法誘導法と比較して最大17%改善したコーパスF1を提供する。
論文 参考訳(メタデータ) (2022-12-20T18:59:50Z) - Efficient Non-Local Contrastive Attention for Image Super-Resolution [48.093500219958834]
非局所的注意(NLA)は、自然画像の内在的特徴相関を利用して、単一画像超解法(SISR)に大きな改善をもたらす。
本稿では,長期視覚モデリングを行い,より関連性の高い非局所的特徴を活用するための,効率的な非局所的コントラスト注意(ENLCA)を提案する。
論文 参考訳(メタデータ) (2022-01-11T05:59:09Z) - PCFGs Can Do Better: Inducing Probabilistic Context-Free Grammars with
Many Symbols [22.728124473130876]
テンソル分解に基づくPCFGの新しいパラメータ化形式を提案する。
ニューラルパラメタライゼーションを新しい形式に応用し,教師なし解析性能を向上させる。
10言語のモデルを評価し、より多くのシンボルの使用の有効性を実証しています。
論文 参考訳(メタデータ) (2021-04-28T12:25:27Z) - An Empirical Study of Compound PCFGs [35.64371385720051]
複合文脈自由文法(C-PCFG)は、最近、教師なし句構造文法誘導のための新しい最先端技術を確立した。
英木バンクのC-PCFGを解析し,C-PCFGの多言語評価を行う。
実験の結果、C-PCFGsの最適構成は英語で調整されているが、必ずしも形態学に富む言語に一般化するとは限らない。
論文 参考訳(メタデータ) (2021-03-03T10:24:26Z) - The Return of Lexical Dependencies: Neural Lexicalized PCFGs [103.41187595153652]
語彙化PCFGのニューラルモデルを提案する。
実験により、この統一されたフレームワークは、いずれかの形式主義単独で達成されるよりも、両方の表現に対してより強い結果をもたらすことが示された。
論文 参考訳(メタデータ) (2020-07-29T22:12:49Z) - Localized Debiased Machine Learning: Efficient Inference on Quantile
Treatment Effects and Beyond [69.83813153444115]
因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。
Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。
本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
論文 参考訳(メタデータ) (2019-12-30T14:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。