Fugu-MT 論文翻訳(概要): TreePiece: Faster Semantic Parsing via Tree Tokenization

論文の概要: TreePiece: Faster Semantic Parsing via Tree Tokenization

arxiv url: http://arxiv.org/abs/2303.17161v1
Date: Thu, 30 Mar 2023 05:44:44 GMT
ステータス: 処理完了
システム内更新日: 2023-03-31 14:27:32.214055
Title: TreePiece: Faster Semantic Parsing via Tree Tokenization
Title（参考訳）: TreePiece: ツリートークン化による構文解析の高速化
Authors: Sid Wang, Akshat Shrivastava, Sasha Livshits
Abstract要約: TreePieceはパースツリーをサブツリーにトークン化し、デコードステップ毎に1つのサブツリーを生成する。 TopV2ベンチマークでは、TreePieceは標準的なARの4.6倍のデコード速度を示している。
参考スコア（独自算出の注目度）: 2.1685554819849613
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Autoregressive (AR) encoder-decoder neural networks have proved successful in many NLP problems, including Semantic Parsing -- a task that translates natural language to machine-readable parse trees. However, the sequential prediction process of AR models can be slow. To accelerate AR for semantic parsing, we introduce a new technique called TreePiece that tokenizes a parse tree into subtrees and generates one subtree per decoding step. On TopV2 benchmark, TreePiece shows 4.6 times faster decoding speed than standard AR, and comparable speed but significantly higher accuracy compared to Non-Autoregressive (NAR).
Abstract（参考訳）: 自動回帰(AR)エンコーダ-デコーダニューラルネットワークは、自然言語を機械可読構文木に変換するタスクであるSemantic Parsingなど、多くのNLP問題で成功した。しかし、ARモデルの逐次予測プロセスは遅くなる可能性がある。セマンティック解析のためにARを高速化するために,解析木をサブツリーにトークン化し,デコードステップ毎に1つのサブツリーを生成するTreePieceという新しいテクニックを導入する。 topv2ベンチマークでは、treepieceは標準arよりも4.6倍高速で、比較速度は同等だが、非自己回帰(nar)よりもかなり高い。

関連論文リスト

Context Perception Parallel Decoder for Scene Text Recognition [52.620841341333524]
シーンテキスト認識手法は高い精度と高速な推論速度を達成するのに苦労している。本稿では、STRにおけるARデコーディングの実証的研究を行い、ARデコーダが言語文脈をモデル化するだけでなく、視覚的文脈知覚のガイダンスも提供することを明らかにする。我々は一連のCPPDモデルを構築し、提案したモジュールを既存のSTRデコーダにプラグインする。英語と中国語のベンチマーク実験により、CPPDモデルはARベースモデルよりも約8倍高速に動作し、高い競争精度を達成できることを示した。
論文参考訳（メタデータ） (2023-07-23T09:04:13Z)
Hexatagging: Projective Dependency Parsing as Tagging [63.5392760743851]
文中の単語を有限個の可能なタグの要素でタグ付けすることで、依存関係木を構成する新しい依存性であるヘキサトガーを導入する。私たちのアプローチは、トレーニング時に完全に並列化可能です。すなわち、依存関係のパースを構築するのに必要な構造構築アクションは、互いに並列に予測できます。我々はPenn Treebankテストセット上で96.4 LASと97.4 UASの最先端性能を実現する。
論文参考訳（メタデータ） (2023-06-08T18:02:07Z)
Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
論文参考訳（メタデータ） (2022-06-16T17:24:14Z)
Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation [41.51966652141165]
推論中に並列符号化が可能なモデルベースプルーニング法を提案する。実験により,我々のFast-R2D2は,下流分類タスクにおける文法誘導および競合結果において,性能を著しく向上することが示された。
論文参考訳（メタデータ） (2022-03-01T07:54:44Z)
Recursive Tree Grammar Autoencoders [3.791857415239352]
本稿では,木をボトムアップ文法で符号化し,木を木文法で復号する,新しいオートエンコーダ手法を提案する。提案手法は, 4つのベンチマークデータセットにおいて, 自動符号化誤差, トレーニング時間, 最適化スコアを改善することを実験的に示す。
論文参考訳（メタデータ） (2020-12-03T17:37:25Z)
Strongly Incremental Constituency Parsing with Graph Neural Networks [70.16880251349093]
文を構文木にパースすることは、NLPの下流アプリケーションに恩恵をもたらす。トランジッションベースは、状態遷移システムでアクションを実行することでツリーを構築する。既存のトランジションベースは主にシフト・リデュース・トランジション・システムに基づいている。
論文参考訳（メタデータ） (2020-10-27T19:19:38Z)
SmBoP: Semi-autoregressive Bottom-up Semantic Parsing [44.802643057976354]
半自己回帰的ボトムアップ (SmBoP) を提案する。これはデコードステップ$t$で構築され、高さ$leq t$の上位$K$サブツリーである。効率の観点からすると、ボトムアップパーシングは、ある高さのすべてのサブツリーを並列にデコードすることができ、線形ではなく対数複雑性ランタイムに繋がる。我々は、難易度ゼロショットセマンティック解析のベンチマークであるSpiderにSmBoPを適用し、SmBoPが復号時の2.2倍のスピードアップ、トレーニング時の5倍のスピードアップにつながることを示す。
論文参考訳（メタデータ） (2020-10-23T14:02:32Z)
Fast semantic parsing with well-typedness guarantees [78.76675218975768]
AM依存性解析は、複数のグラフバンクにまたがる高精度なニューラルセマンティック解析の原理的手法である。 A* と AM 依存解析の遷移ベースを記述し, 高い型付け性を確保し, 解析速度を最大 3 桁向上する。
論文参考訳（メタデータ） (2020-09-15T21:54:01Z)
Efficient Second-Order TreeCRF for Neural Dependency Parsing [23.426500262860777]
ディープラーニング(DL)時代には、構文解析モデルは極めて単純化され、性能にほとんど影響を与えない。本稿では,2階目のTreeCRF拡張について述べる。本研究では,内部とビタビアルゴリズムをバッチ化して直接大行列演算を行う手法を提案する。
論文参考訳（メタデータ） (2020-05-03T03:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。