論文の概要: SmBoP: Semi-autoregressive Bottom-up Semantic Parsing

• arxiv url: http://arxiv.org/abs/2010.12412v2
• Date: Sun, 11 Apr 2021 11:37:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 22:33:57.691244
• Title: SmBoP: Semi-autoregressive Bottom-up Semantic Parsing
• Title（参考訳）: SmBoP: 半自己回帰ボトムアップセマンティックパーシング
• Authors: Ohad Rubin and Jonathan Berant
• Abstract要約: 半自己回帰的ボトムアップ (SmBoP) を提案する。これはデコードステップ$t$で構築され、高さ$leq t$の上位$K$サブツリーである。 効率の観点からすると、ボトムアップパーシングは、ある高さのすべてのサブツリーを並列にデコードすることができ、線形ではなく対数複雑性ランタイムに繋がる。 我々は、難易度ゼロショットセマンティック解析のベンチマークであるSpiderにSmBoPを適用し、SmBoPが復号時の2.2倍のスピードアップ、トレーニング時の5倍のスピードアップにつながることを示す。
• 参考スコア（独自算出の注目度）: 44.802643057976354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The de-facto standard decoding method for semantic parsing in recent years has been to autoregressively decode the abstract syntax tree of the target program using a top-down depth-first traversal. In this work, we propose an alternative approach: a Semi-autoregressive Bottom-up Parser (SmBoP) that constructs at decoding step $t$ the top-$K$ sub-trees of height $\leq t$. Our parser enjoys several benefits compared to top-down autoregressive parsing. From an efficiency perspective, bottom-up parsing allows to decode all sub-trees of a certain height in parallel, leading to logarithmic runtime complexity rather than linear. From a modeling perspective, a bottom-up parser learns representations for meaningful semantic sub-programs at each step, rather than for semantically-vacuous partial trees. We apply SmBoP on Spider, a challenging zero-shot semantic parsing benchmark, and show that SmBoP leads to a 2.2x speed-up in decoding time and a $\sim$5x speed-up in training time, compared to a semantic parser that uses autoregressive decoding. SmBoP obtains 71.1 denotation accuracy on Spider, establishing a new state-of-the-art, and 69.5 exact match, comparable to the 69.6 exact match of the autoregressive RAT-SQL+GraPPa.
• Abstract（参考訳）: 近年の意味解析のためのデファクト標準復号法は,トップダウンの深さ優先トラバーサルを用いて,対象プログラムの抽象構文木を自己回帰的に復号化している。 本研究では,半自己回帰ボトムアップパーサ(smbop)をデコードステップで構築し,高さ$\leq t$の上位$k$サブツリーをt$とする手法を提案する。 我々のパーサーはトップダウンの自己回帰解析と比較していくつかの利点がある。 効率の観点からすると、ボトムアップパーシングは、ある高さのすべてのサブツリーを並列にデコードすることができ、線形ではなく対数的ランタイムの複雑さをもたらす。 モデリングの観点からは、ボトムアップパーサーは意味論的部分木ではなく、各ステップで意味論的部分プログラムの表現を学ぶ。 難解なゼロショット意味解析ベンチマークであるspiderにsmbopを適用することで,smbopがデコード時間の2.2倍のスピードアップと,自己回帰デコードを使用するセマンティックパーサと比較して,トレーニング時間の5倍の速度アップを実現しています。 SmBoPは、スパイダーの71.1の表記精度を取得し、新しい最先端の69.5の正確な一致を確立し、自動回帰RAT-SQL+GraPPaの69.6の正確な一致に匹敵する。

関連論文リスト

• Structured Dialogue Discourse Parsing [79.37200787463917]
  談話解析は、多人数会話の内部構造を明らかにすることを目的としている。 本稿では,符号化と復号化という2つの観点から,従来の作業を改善する原理的手法を提案する。 実験の結果,本手法は,STACでは2.3,Mollweniでは1.5,先行モデルでは2.3を上回った。
  論文  参考訳（メタデータ） (2023-06-26T22:51:01Z)
• Hexatagging: Projective Dependency Parsing as Tagging [63.5392760743851]
  文中の単語を有限個の可能なタグの要素でタグ付けすることで、依存関係木を構成する新しい依存性であるヘキサトガーを導入する。 私たちのアプローチは、トレーニング時に完全に並列化可能です。すなわち、依存関係のパースを構築するのに必要な構造構築アクションは、互いに並列に予測できます。 我々はPenn Treebankテストセット上で96.4 LASと97.4 UASの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-08T18:02:07Z)
• TreePiece: Faster Semantic Parsing via Tree Tokenization [2.1685554819849613]
  TreePieceはパースツリーをサブツリーにトークン化し、デコードステップ毎に1つのサブツリーを生成する。 TopV2ベンチマークでは、TreePieceは標準的なARの4.6倍のデコード速度を示している。
  論文  参考訳（メタデータ） (2023-03-30T05:44:44Z)
• Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
  大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。 自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。 言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
  論文  参考訳（メタデータ） (2022-08-11T17:41:08Z)
• Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation [41.51966652141165]
  推論中に並列符号化が可能なモデルベースプルーニング法を提案する。 実験により,我々のFast-R2D2は,下流分類タスクにおける文法誘導および競合結果において,性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-03-01T07:54:44Z)
• Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing [55.97957664897004]
  seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、長さ予測によってボトルネックとなる。 本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T07:02:35Z)
• Strongly Incremental Constituency Parsing with Graph Neural Networks [70.16880251349093]
  文を構文木にパースすることは、NLPの下流アプリケーションに恩恵をもたらす。 トランジッションベースは、状態遷移システムでアクションを実行することでツリーを構築する。 既存のトランジションベースは主にシフト・リデュース・トランジション・システムに基づいている。
  論文  参考訳（メタデータ） (2020-10-27T19:19:38Z)
• Efficient Second-Order TreeCRF for Neural Dependency Parsing [23.426500262860777]
  ディープラーニング(DL)時代には、構文解析モデルは極めて単純化され、性能にほとんど影響を与えない。 本稿では,2階目のTreeCRF拡張について述べる。 本研究では,内部とビタビアルゴリズムをバッチ化して直接大行列演算を行う手法を提案する。
  論文  参考訳（メタデータ） (2020-05-03T03:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。