論文の概要: Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation

• arxiv url: http://arxiv.org/abs/2203.00281v1
• Date: Tue, 1 Mar 2022 07:54:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 14:25:11.549751
• Title: Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation
• Title（参考訳）: Fast-R2D2: 文法誘導とテキスト表現のためのPruned CKYに基づく事前学習型再帰ニューラルネットワーク
• Authors: Xiang Hu, Haitao Mi, Liang Li, Gerard de Melo
• Abstract要約: 推論中に並列符号化が可能なモデルベースプルーニング法を提案する。 実験により,我々のFast-R2D2は,下流分類タスクにおける文法誘導および競合結果において,性能を著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 41.51966652141165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently CKY-based models show great potential in unsupervised grammar induction thanks to their human-like encoding paradigm, which runs recursively and hierarchically, but requires $O(n^3)$ time-complexity. Recursive Transformer based on Differentiable Trees (R2D2) makes it possible to scale to large language model pre-training even with complex tree encoder by introducing a heuristic pruning method. However, the rule-based pruning approach suffers from local optimum and slow inference issues. In this paper, we fix those issues in a unified method. We propose to use a top-down parser as a model-based pruning method, which also enables parallel encoding during inference. Typically, our parser casts parsing as a split point scoring task, which first scores all split points for a given sentence, and then recursively splits a span into two by picking a split point with the highest score in the current span. The reverse order of the splits is considered as the order of pruning in R2D2 encoder. Beside the bi-directional language model loss, we also optimize the parser by minimizing the KL distance between tree probabilities from parser and R2D2. Our experiments show that our Fast-R2D2 improves performance significantly in grammar induction and achieves competitive results in downstream classification tasks.
• Abstract（参考訳）: 近年、CKYベースのモデルは、人間のような符号化パラダイムにより教師なし文法の帰納化に大きな可能性を示しており、これは再帰的かつ階層的に実行されるが、時間複雑度は$O(n^3)である。 微分可能木(R2D2)に基づく再帰変換器は、ヒューリスティックプルーニング法を導入することで、複雑なツリーエンコーダであっても、大規模言語モデルに事前学習を拡大することができる。 しかし、ルールベースのプルーニングアプローチは、局所的な最適かつ遅い推論の問題に苦しむ。 本稿では,これらの問題を統一的な方法で解決する。 本稿では,モデルベースプルーニング法としてトップダウンパーサを用いることを提案する。 通常、パーサはスプリットポイントスコアリングタスクとして解析を行い、最初に与えられた文のすべてのスプリットポイントをスコア付け、その後、現在のスパンで最もスコアの高いスプリットポイントを選択して再帰的にスプリットポイントを2つに分割します。 分割の逆順は、R2D2エンコーダにおけるプルーニングの順序と見なされる。 双方向言語モデル損失の他に、パーサとR2D2からのツリー確率間のKL距離を最小化してパーサを最適化する。 実験により,我々のFast-R2D2は文法誘導性能を大幅に向上し,下流分類タスクにおける競合的な結果が得られることが示された。

関連論文リスト

• Structured Dialogue Discourse Parsing [79.37200787463917]
  談話解析は、多人数会話の内部構造を明らかにすることを目的としている。 本稿では,符号化と復号化という2つの観点から,従来の作業を改善する原理的手法を提案する。 実験の結果,本手法は,STACでは2.3,Mollweniでは1.5,先行モデルでは2.3を上回った。
  論文  参考訳（メタデータ） (2023-06-26T22:51:01Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Improving Top-K Decoding for Non-Autoregressive Semantic Parsing via Intent Conditioning [11.307865386100993]
  本稿では,デコーダに意図条件を導入する新しいNARセマンティクスを提案する。 最上位のインテントがパースの構文とセマンティクスを制御しているため、インテント条件付けによりビームサーチをよりよく制御できる。 対話型SPデータセットであるTOPとTOPv2で提案したNARを評価する。
  論文  参考訳（メタデータ） (2022-04-14T04:06:39Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling [36.61173494449218]
  本稿では, 構成過程をエミュレートするために, 微分可能なCKYスタイルのバイナリツリーに基づくモデルを提案する。 我々は、このアーキテクチャに対して双方向言語モデル事前学習の目的を拡張し、左右の抽象ノードを与えられた各単語を予測しようと試みる。 また,本手法を大規模化するために,合成ステップの線形数だけを符号化する効率的な伐採木誘導アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-07-02T11:00:46Z)
• Recursive Tree Grammar Autoencoders [3.791857415239352]
  本稿では,木をボトムアップ文法で符号化し,木を木文法で復号する,新しいオートエンコーダ手法を提案する。 提案手法は, 4つのベンチマークデータセットにおいて, 自動符号化誤差, トレーニング時間, 最適化スコアを改善することを実験的に示す。
  論文  参考訳（メタデータ） (2020-12-03T17:37:25Z)
• Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
  自然および合成言語に対する文脈自由文法の生成特性をモデル化する。 潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。 また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:47:16Z)
• Learning Binary Decision Trees by Argmin Differentiation [34.9154848754842]
  ダウンストリームタスクのためにデータを分割するバイナリ決定木を学びます。 離散パラメータの混合整数プログラムを緩和する。 我々は、前方と後方のパスを効率的に計算するアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2020-10-09T15:11:28Z)
• Span-based Semantic Parsing for Compositional Generalization [53.24255235340056]
  SpanBasedSPは入力発話上のスパンツリーを予測し、部分的なプログラムが入力内のスパンをどのように構成するかを明示的に符号化する。 GeoQuery、SCAN、CLOSUREでは、SpanBasedSPはランダムスプリットの強いseq2seqベースラインと似ているが、構成一般化を必要とするスプリットのベースラインに比べて劇的に性能が向上する。
  論文  参考訳（メタデータ） (2020-09-13T16:42:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。