論文の概要: Enriching Transformers with Structured Tensor-Product Representations for Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2106.01317v1
• Date: Wed, 2 Jun 2021 17:32:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:50:31.528790
• Title: Enriching Transformers with Structured Tensor-Product Representations for Abstractive Summarization
• Title（参考訳）: 抽象要約のための構造的テンソル生成表現を用いた変換器の強化
• Authors: Yichen Jiang, Asli Celikyilmaz, Paul Smolensky, Paul Soulos, Sudha Rao, Hamid Palangi, Roland Fernandez, Caitlin Smith, Mohit Bansal, Jianfeng Gao
• Abstract要約: 抽象的な要約のタスクに対して,明示的に構成された製品表現(TPR)をTP-TRANSFORMERに適用する。 モデルの主な特徴は、トークンごとに2つの別々の表現を符号化することで導入する構造バイアスである。 本稿では,TP-TRANSFORMER が Transformer と TP-TRANSFORMER より優れていることを示す。
• 参考スコア（独自算出の注目度）: 131.23966358405767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abstractive summarization, the task of generating a concise summary of input documents, requires: (1) reasoning over the source document to determine the salient pieces of information scattered across the long document, and (2) composing a cohesive text by reconstructing these salient facts into a shorter summary that faithfully reflects the complex relations connecting these facts. In this paper, we adapt TP-TRANSFORMER (Schlag et al., 2019), an architecture that enriches the original Transformer (Vaswani et al., 2017) with the explicitly compositional Tensor Product Representation (TPR), for the task of abstractive summarization. The key feature of our model is a structural bias that we introduce by encoding two separate representations for each token to represent the syntactic structure (with role vectors) and semantic content (with filler vectors) separately. The model then binds the role and filler vectors into the TPR as the layer output. We argue that the structured intermediate representations enable the model to take better control of the contents (salient facts) and structures (the syntax that connects the facts) when generating the summary. Empirically, we show that our TP-TRANSFORMER outperforms the Transformer and the original TP-TRANSFORMER significantly on several abstractive summarization datasets based on both automatic and human evaluations. On several syntactic and semantic probing tasks, we demonstrate the emergent structural information in the role vectors and improved syntactic interpretability in the TPR layer outputs. Code and models are available at https://github.com/jiangycTarheel/TPT-Summ.
• Abstract（参考訳）: 抽象要約は、入力文書の簡潔な要約を作成する作業であり、(1)ソース文書を推論して、長い文書に散在する有意義な情報の断片を判断し、(2)これら有能な事実を再構成して結束したテキストを、これらの事実を結びつける複雑な関係を忠実に反映する短い要約に構成することが必要である。 本稿では, 抽象的な要約作業のために, TP-TRANSFORMER (Schlag et al., 2019) を用いて, オリジナルのTransformer (Vaswani et al., 2017) を明示的に構成したTensor Product Representation (TPR) に適応させる。 このモデルの重要な特徴は、各トークンに対して2つの別々の表現をエンコードして、(ロールベクターで)構文構造と(フィラーベクターで)意味コンテンツを表す構造バイアスである。 次にモデルがロールとフィラーベクトルを層出力としてTPRにバインドする。 構造化された中間表現は、要約を生成する際に、モデルが内容(有意な事実)と構造(事実を接続する構文)をよりよく制御できると主張している。 実験により, TP-TRANSFORMERは, 自動評価と人的評価の両方に基づいて, 抽象的な要約データセットにおいて, トランスフォーマと元のTP-TRANSFORMERを著しく上回っていることがわかった。 いくつかの構文的および意味的探索タスクにおいて、ロールベクトルにおける創発的構造情報を示し、TPR層出力における構文的解釈性を改善した。 コードとモデルはhttps://github.com/jiangycTarheel/TPT-Summ.comで公開されている。

関連論文リスト

• ReSel: N-ary Relation Extraction from Scientific Text and Tables by Learning to Retrieve and Select [53.071352033539526]
  学術論文からN-ary関係を抽出する問題について考察する。 提案手法であるReSelは,このタスクを2段階のプロシージャに分解する。 3つの科学的情報抽出データセットに対する実験により、ReSelは最先端のベースラインを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-10-26T02:28:02Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Source Code Summarization with Structural Relative Position Guided Transformer [19.828300746504148]
  ソースコードの要約は、プログラミング言語の簡潔で明確な自然言語記述を生成することを目的としている。 近年の取り組みは、Transformerなどのニューラルネットワークにコードの構文構造を組み込むことに重点を置いている。 SCRIPTと呼ばれる構造相対位置案内変換器を提案する。
  論文  参考訳（メタデータ） (2022-02-14T07:34:33Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• HittER: Hierarchical Transformers for Knowledge Graph Embeddings [85.93509934018499]
  複雑な知識グラフにおける実体と関係の表現を学習するためにHittを提案する。 実験結果から,Hittは複数リンク予測において最先端の新たな結果が得られることがわかった。 さらに,HittをBERTに統合する簡単なアプローチを提案し,その効果を2つのFreebaseファクトイド対応データセットで示す。
  論文  参考訳（メタデータ） (2020-08-28T18:58:15Z)
• Do Syntax Trees Help Pre-trained Transformers Extract Information? [8.133145094593502]
  本稿では,情報抽出タスクにおいて,依存木を事前学習した変換器に組み込むことの有用性について検討する。 依存関係構造を組み込むための2つの異なる戦略を提案し,検討する。 それらの性能向上は,人間による注釈付き依存関係解析の可用性に大きく影響していることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T17:17:38Z)
• StructSum: Summarization via Structured Representations [27.890477913486787]
  抽象テキスト要約は、長い資料の情報を要約した要約に圧縮することを目的としている。 モデリング技術の進歩にもかかわらず、抽象的な要約モデルは依然としていくつかの重要な課題に悩まされている。 本稿では,これらの課題に対処するための要約のための文書レベルの構造誘導に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-01T20:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。