論文の概要: The Limitations of Limited Context for Constituency Parsing

• arxiv url: http://arxiv.org/abs/2106.01580v1
• Date: Thu, 3 Jun 2021 03:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 12:21:00.105382
• Title: The Limitations of Limited Context for Constituency Parsing
• Title（参考訳）: 選挙区パーシングにおける限定文脈の制限
• Authors: Yuchen Li, Andrej Risteski
• Abstract要約: Shen et al., 2018a)の構文解析アーキテクチャは、教師なし構文解析を最初に行った。 現在の構文に対するニューラルアプローチはどのような構文構造を表現できるのか? 我々は確率論的自由文法(PCFG)のサンドボックスにこの疑問を解いた。 これらのアプローチの表現力の重要な側面は、予測者がアクセス可能なコンテキストの量と方向性である。
• 参考スコア（独自算出の注目度）: 27.271792317099045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incorporating syntax into neural approaches in NLP has a multitude of practical and scientific benefits. For instance, a language model that is syntax-aware is likely to be able to produce better samples; even a discriminative model like BERT with a syntax module could be used for core NLP tasks like unsupervised syntactic parsing. Rapid progress in recent years was arguably spurred on by the empirical success of the Parsing-Reading-Predict architecture of (Shen et al., 2018a), later simplified by the Order Neuron LSTM of (Shen et al., 2019). Most notably, this is the first time neural approaches were able to successfully perform unsupervised syntactic parsing (evaluated by various metrics like F-1 score). However, even heuristic (much less fully mathematical) understanding of why and when these architectures work is lagging severely behind. In this work, we answer representational questions raised by the architectures in (Shen et al., 2018a, 2019), as well as some transition-based syntax-aware language models (Dyer et al., 2016): what kind of syntactic structure can current neural approaches to syntax represent? Concretely, we ground this question in the sandbox of probabilistic context-free-grammars (PCFGs), and identify a key aspect of the representational power of these approaches: the amount and directionality of context that the predictor has access to when forced to make parsing decision. We show that with limited context (either bounded, or unidirectional), there are PCFGs, for which these approaches cannot represent the max-likelihood parse; conversely, if the context is unlimited, they can represent the max-likelihood parse of any PCFG.
• Abstract（参考訳）: NLPでニューラルアプローチに構文を組み込むことは、実用的かつ科学的に多くの利点がある。 BERTのような構文モジュールを使った差別モデルでさえ、教師なし構文解析のような中核的なNLPタスクには使えます。 近年の急速な進歩は、Parsing-Reading-Predict Architecture of (Shen et al., 2018a)の実証的な成功によって引き起こされ、後にOrder Neuron LSTM of (Shen et al., 2019)によって単純化された。 特に注目すべきは、神経アプローチが教師なし構文解析(F-1スコアなどのさまざまな指標で評価される)をうまく実行できたことだ。 しかし、ヒューリスティックな(完全に数学的ではない)理解でさえ、これらのアーキテクチャがなぜいつ機能するのかは、かなり遅れている。 本研究では、アーキテクチャ(shen et al., 2018a, 2019)とトランジッションベースの構文認識言語モデル(dyer et al., 2016): 構文表現に対する現在のニューラルネットワークのアプローチはどのようなものか? 具体的には、確率的文脈自由文法(PCFG)のサンドボックスにこの疑問を解き、これらのアプローチの表現力のキーとなる側面を同定する。 制限された文脈(有界あるいは一方向)では、これらのアプローチは最大様解析を表現できないPCFGが存在し、逆に文脈が無制限であれば、任意のPCFGの最大様解析を表現できることを示す。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• A Truly Joint Neural Architecture for Segmentation and Parsing [15.866519123942457]
  形態的リッチ言語(MRL)の性能は他の言語よりも低い。 空間的に制限された入力トークンのモルフォロジーの複雑さとあいまいさのため、ツリーのノードとして機能する言語単位は事前に分かっていない。 本稿では,入力のすべての形態的あいまいさを保存する格子型表現をアーク分解モデルに提供し,その形態的・構文的解析タスクを一度に解く,結合型ニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-02-04T16:56:08Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Unsupervised Chunking with Hierarchical RNN [62.15060807493364]
  本稿では,非階層的手法で単語をグループ化する構文的タスクであるチャンキングに対する教師なしアプローチを紹介する。 本稿では,単語-チャンク・チャンク-文合成をモデル化した2層階層型階層型リカレントニューラルネットワーク(HRNN)を提案する。 CoNLL-2000データセットの実験では、既存の教師なし手法よりも顕著な改善が見られ、フレーズF1スコアが最大6ポイント向上した。
  論文  参考訳（メタデータ） (2023-09-10T02:55:12Z)
• Laziness Is a Virtue When It Comes to Compositionality in Neural Semantic Parsing [20.856601758389544]
  本稿では,論理形式の葉から始まる論理形式をボトムアップから構築するニューラルセマンティック解析生成手法を提案する。 我々の新しいボトムアップ・パーシング・セマンティック・テクニックは、汎用的なセマンティクスよりも優れており、同等のニューラル・セマンティクスと競合していることを示す。
  論文  参考訳（メタデータ） (2023-05-07T17:53:08Z)
• Structural generalization is hard for sequence-to-sequence models [85.0087839979613]
  シーケンス・ツー・シーケンス(seq2seq)モデルは、多くのNLPタスクで成功している。 構成一般化に関する最近の研究は、セq2seqモデルは訓練で見られなかった言語構造への一般化において非常に低い精度を達成することを示した。
  論文  参考訳（メタデータ） (2022-10-24T09:03:03Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Generating Synthetic Data for Task-Oriented Semantic Parsing with Hierarchical Representations [0.8203855808943658]
  本研究では,ニューラルセマンティック解析のための合成データ生成の可能性を検討する。 具体的には、まず既存のラベル付き発話からマスク付きテンプレートを抽出し、次に微調整BARTを用いて合成発話条件を生成する。 ナビゲーション領域のためのFacebook TOPデータセットを評価する際に、我々のアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2020-11-03T22:55:40Z)
• Discontinuous Constituent Parsing with Pointer Networks [0.34376560669160383]
  不連続な構成木は、ドイツ語のような言語の文法的な現象を表現するのに不可欠である。 係り受け解析の最近の進歩は、ポインタネットワークが文中の単語間の構文関係を効率的に解析することに優れていることを示している。 本稿では,最も正確な不連続な構成表現を生成するニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-05T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。