論文の概要: HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization

• arxiv url: http://arxiv.org/abs/2110.06388v1
• Date: Tue, 12 Oct 2021 22:42:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 12:55:36.823002
• Title: HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization
• Title（参考訳）: HETFORMER:長文抽出要約のためのスパースアテンションを有する異種変圧器
• Authors: Ye Liu, Jian-Guo Zhang, Yao Wan, Congying Xia, Lifang He, Philip S. Yu
• Abstract要約: HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
• 参考スコア（独自算出の注目度）: 57.798070356553936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To capture the semantic graph structure from raw text, most existing summarization approaches are built on GNNs with a pre-trained model. However, these methods suffer from cumbersome procedures and inefficient computations for long-text documents. To mitigate these issues, this paper proposes HETFORMER, a Transformer-based pre-trained model with multi-granularity sparse attentions for long-text extractive summarization. Specifically, we model different types of semantic nodes in raw text as a potential heterogeneous graph and directly learn heterogeneous relationships (edges) among nodes by Transformer. Extensive experiments on both single- and multi-document summarization tasks show that HETFORMER achieves state-of-the-art performance in Rouge F1 while using less memory and fewer parameters.
• Abstract（参考訳）: 生テキストから意味グラフ構造を捉えるため,既存の要約手法は事前学習モデルを用いてGNN上に構築されている。 しかし、これらの手法は長文文書に対する煩雑な手続きと非効率的な計算に苦しむ。 この問題を軽減するため,本論文では,長文抽出要約のための多粒度スパース注意を持つ変圧器型事前学習モデルhetformerを提案する。 具体的には,生文中の異なる意味ノードを潜在的に異質なグラフとしてモデル化し,トランスフォーマによってノード間の異種関係(エッジ)を直接学習する。 単一文書と複数文書の要約タスクの広範な実験により、HETFORMERはより少ないメモリと少ないパラメータを使用しながら、ルージュF1における最先端のパフォーマンスを達成することが示された。

関連論文リスト

• TexIm FAST: Text-to-Image Representation for Semantic Similarity Evaluation using Transformers [2.7651063843287718]
  TexIm FASTは、トランスフォーマー(TexIm FAST)を用いた意味評価のための自己教師付き変分自動エンコーダ(VAE)による固定長表現を生成する新しい手法である。 画像表現は、言語的な複雑さを維持しながら、暗黙の推論を可能にし、クロスモーダルな応用において強力である。 TexIm FASTの有効性は、MSRPC、CNN/Daily Mail、XSumデータセット上でのセマンティックテキスト類似性(STS)のタスクに対して広く分析されている。
  論文  参考訳（メタデータ） (2024-06-06T18:28:50Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Document-Level Abstractive Summarization [0.0]
  非常に長いテキストの自動要約を改善するために,トランスフォーマー技術がいかに効果的かを検討する。 より小さなチャンクを処理して文書全体の要約を生成するコストを削減できる新しい検索強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-06T14:39:09Z)
• HEGEL: Hypergraph Transformer for Long Document Summarization [14.930704950433324]
  本稿では,高次交叉関係を捉えることで,長期文書要約のためのハイパーグラフニューラルネットワークHEGELを提案する。 HEGELを2つのベンチマークデータセットで広範な実験により検証し,HEGELの有効性と有効性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-10-09T00:32:50Z)
• Revisiting Transformer-based Models for Long Document Classification [31.60414185940218]
  実世界のアプリケーションでは、マルチページのマルチパラグラフ文書が一般的であり、バニラトランスフォーマーベースのモデルでは効率的にエンコードできない。 本稿では,変圧器の計算オーバーヘッドを軽減するために,トランスフォーマーを用いた長期文書分類(TrLDC)手法を比較した。 我々は、より長いテキストを処理できることの明確な利点を観察し、その結果に基づいて、長い文書分類タスクにTransformerベースのモデルを適用する実践的なアドバイスを導き出す。
  論文  参考訳（メタデータ） (2022-04-14T00:44:36Z)
• Automated News Summarization Using Transformers [4.932130498861987]
  我々は,テキスト要約のためのトランスフォーマーアーキテクチャに基づく事前学習モデルについて,包括的に比較する。 分析と比較のために,要約や人為的な要約に使用できるテキストデータを含むBBCニュースデータセットを用いた。
  論文  参考訳（メタデータ） (2021-04-23T04:22:33Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension [59.80926970481975]
  機械読解(MRC)を長文で研究する。 モデルは長い文書と質問を入力として取り、回答として文書からテキストを抽出する。 我々は、モデルに強化学習を通じてより柔軟な方法でチャンクを学習させることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T18:08:58Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。