論文の概要: Transformer-Based Neural Text Generation with Syntactic Guidance

• arxiv url: http://arxiv.org/abs/2010.01737v1
• Date: Mon, 5 Oct 2020 01:33:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 21:23:32.170108
• Title: Transformer-Based Neural Text Generation with Syntactic Guidance
• Title（参考訳）: 構文指導によるトランスフォーマティブに基づくニューラルテキスト生成
• Authors: Yinghao Li (Georgia Institute of Technology), Rui Feng (Georgia Institute of Technology), Isaac Rehg (Georgia Institute of Technology), Chao Zhang (Georgia Institute of Technology)
• Abstract要約: テキスト生成の統語指導として(部分的)選挙区構文解析木を用いた場合の問題点について検討する。 提案手法は,まず部分的テンプレート構文解析木を入力元テキストに適した完全分岐構文解析木に拡張する。 本手法は意味論的・統語論的にSOTAモデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of using (partial) constituency parse trees as syntactic guidance for controlled text generation. Existing approaches to this problem use recurrent structures, which not only suffer from the long-term dependency problem but also falls short in modeling the tree structure of the syntactic guidance. We propose to leverage the parallelism of Transformer to better incorporate parse trees. Our method first expands a partial template constituency parse tree to a full-fledged parse tree tailored for the input source text, and then uses the expanded tree to guide text generation. The effectiveness of our model in this process hinges upon two new attention mechanisms: 1) a path attention mechanism that forces one node to attend to only other nodes located in its path in the syntax tree to better incorporate syntax guidance; 2) a multi-encoder attention mechanism that allows the decoder to dynamically attend to information from multiple encoders. Our experiments in the controlled paraphrasing task show that our method outperforms SOTA models both semantically and syntactically, improving the best baseline's BLEU score from 11.83 to 26.27.
• Abstract（参考訳）: テキスト生成の統語指導として(部分的)選挙区構文解析木を用いる問題について検討する。 この問題に対する既存のアプローチでは、長期依存問題に苦しむだけでなく、構文指導のツリー構造をモデル化するのにも不足しているリカレント構造を使っている。 解析木をよりうまく組み込むために、transformerの並列性を活用することを提案する。 提案手法はまず,入力元テキストに適合した部分テンプレート構文解析木をフルフローの構文解析木に拡張し,拡張木を用いてテキスト生成を誘導する。 このプロセスにおける我々のモデルの有効性は、2つの新しい注意のメカニズムにかかっている。 1)1つのノードに構文木内のパスにある他のノードにのみ参加するように強制するパスアテンション機構は、構文指導をよりうまく組み込む。 2) デコーダが複数のエンコーダからの情報を動的に参照できるマルチエンコーダアテンション機構。 制御されたパラフレーズ処理における実験により,本手法は意味的・統語的にSOTAモデルより優れており,最高基準のBLEUスコアが11.83から26.27に向上した。

関連論文リスト

• Pushdown Layers: Encoding Recursive Structure in Transformer Language Models [86.75729087623259]
  再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。 この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。 プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
  論文  参考訳（メタデータ） (2023-10-29T17:27:18Z)
• Structured Dialogue Discourse Parsing [79.37200787463917]
  談話解析は、多人数会話の内部構造を明らかにすることを目的としている。 本稿では,符号化と復号化という2つの観点から,従来の作業を改善する原理的手法を提案する。 実験の結果,本手法は,STACでは2.3,Mollweniでは1.5,先行モデルでは2.3を上回った。
  論文  参考訳（メタデータ） (2023-06-26T22:51:01Z)
• Spatial Attention and Syntax Rule Enhanced Tree Decoder for Offine Handwritten Mathematical Expression Recognition [12.656673677551778]
  SS-TD(Spatial Attention and Syntax Rule Enhanced Tree Decoder)と呼ばれる新しいモデルを提案する。 我々のモデルは木構造を効果的に記述し、出力表現の精度を高めることができる。 実験により、SS-TDはCROHME 14/16/19データセットの以前のモデルよりも優れた認識性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-03-13T12:59:53Z)
• A Tree-structured Transformer for Program Representation Learning [27.31416015946351]
  プログラムには長期/グローバルな依存関係が広く存在し、ほとんどのニューラルネットワークはこれらの依存関係をキャプチャできない。 本稿では,この制限を克服することを目的とした,新しい木構造ニューラルネットワークであるTree-Transformerを提案する。 ボトムアップとトップダウンの伝搬を組み合わせることで、Tree-Transformerはグローバルコンテキストと有意義なノード機能の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2022-08-18T05:42:01Z)
• Integrating Dependency Tree Into Self-attention for Sentence Representation [9.676884071651205]
  本稿では,自己認識機構と協調して機能するリレーショナルアテンション機構を適用したDependency-Transformerを提案する。 スコアベースの手法により、Transformerの並列化に影響を与えずに構文情報をインジェクトすることに成功した。 文表現のための4つのタスクにおいて、我々のモデルは最先端の手法よりも優れているか、あるいは同等である。
  論文  参考訳（メタデータ） (2022-03-11T13:44:41Z)
• Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
  本稿では,構成構文構造をグラフベースで組み込む手法を提案する。 また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。 on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
  論文  参考訳（メタデータ） (2022-02-22T07:40:42Z)
• Syntactic representation learning for neural network based TTS with syntactic parse tree traversal [49.05471750563229]
  本稿では,構文解析木に基づく構文表現学習手法を提案し,構文構造情報を自動的に活用する。 実験の結果,提案手法の有効性が示された。 複数の構文解析木を持つ文では、合成音声から韻律的差異が明確に認識される。
  論文  参考訳（メタデータ） (2020-12-13T05:52:07Z)
• Recursive Tree Grammar Autoencoders [3.791857415239352]
  本稿では,木をボトムアップ文法で符号化し,木を木文法で復号する,新しいオートエンコーダ手法を提案する。 提案手法は, 4つのベンチマークデータセットにおいて, 自動符号化誤差, トレーニング時間, 最適化スコアを改善することを実験的に示す。
  論文  参考訳（メタデータ） (2020-12-03T17:37:25Z)
• Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
  自然および合成言語に対する文脈自由文法の生成特性をモデル化する。 潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。 また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:47:16Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。