論文の概要: DYLE: Dynamic Latent Extraction for Abstractive Long-Input Summarization

• arxiv url: http://arxiv.org/abs/2110.08168v1
• Date: Fri, 15 Oct 2021 15:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 16:29:47.392063
• Title: DYLE: Dynamic Latent Extraction for Abstractive Long-Input Summarization
• Title（参考訳）: DYLE: 抽象的長入力要約のための動的潜時抽出
• Authors: Ziming Mao, Chen Henry Wu, Ansong Ni, Yusen Zhang, Rui Zhang, Tao Yu, Budhaditya Deb, Chenguang Zhu, Ahmed H. Awadallah, Dragomir Radev
• Abstract要約: トランスフォーマーベースのモデルは、短いテキスト要約において最先端のパフォーマンスを達成した。 本稿では, 抽象的要約のための動的潜時抽出法を提案する。 我々のモデルは、GovReportの6.21 ROUGE-2の改善、QMSumの2.13 ROUGE-1の改善など、現在の最先端技術よりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 19.693324720440017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models have achieved state-of-the-art performance on short text summarization. However, they still struggle with long-input summarization. In this paper, we present a new approach for long-input summarization: Dynamic Latent Extraction for Abstractive Summarization. We jointly train an extractor with an abstractor and treat the extracted text snippets as the latent variable. We propose extractive oracles to provide the extractor with a strong learning signal. We introduce consistency loss, which encourages the extractor to approximate the averaged dynamic weights predicted by the generator. We conduct extensive tests on two long-input summarization datasets, GovReport (document) and QMSum (dialogue). Our model significantly outperforms the current state-of-the-art, including a 6.21 ROUGE-2 improvement on GovReport and a 2.13 ROUGE-1 improvement on QMSum. Further analysis shows that the dynamic weights make our generation process highly interpretable. Our code will be publicly available upon publication.
• Abstract（参考訳）: トランスフォーマティブベースのモデルは、短いテキスト要約で最先端のパフォーマンスを達成している。 しかし、それらは依然として長い入力の要約に苦しむ。 本稿では,長文要約の新しいアプローチとして,抽象要約のための動的潜在抽出法を提案する。 抽出器と抽象化器を共同で訓練し,抽出したテキストスニペットを潜在変数として扱う。 我々は,抽出器に強い学習信号を与えるために,抽出神託を提案する。 我々は, 発電機が予測する平均的動的重みの近似を抽出器に促す整合損失を導入する。 我々は,govreport (ドキュメント) と qmsum (ダイアログ) という2つの長入力要約データセットを広範囲にテストした。 我々のモデルは、GovReportの6.21 ROUGE-2、QMSumの2.13 ROUGE-1の改善など、現在の最先端技術よりも大幅に優れています。 さらに分析した結果, 動的重みは生成過程を高度に解釈可能であることがわかった。 私たちのコードは出版時に公開されます。

関連論文リスト

• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• Efficient and Interpretable Compressive Text Summarisation with Unsupervised Dual-Agent Reinforcement Learning [36.93582300019002]
  教師なし二重エージェント強化学習を用いた効率よく解釈可能な圧縮要約法を提案する。 本モデルでは,ROUGE 測定値を用いて,有望な性能と,Newsroom の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-06-06T05:30:49Z)
• Generating Multiple-Length Summaries via Reinforcement Learning for Unsupervised Sentence Summarization [44.835811239393244]
  文要約は、テキストの中核的な内容を維持しながら与えられたテキストを短縮する。 人書きの要約のないテキストを要約するために、教師なしのアプローチが研究されている。 本研究では, 基礎構造を含まない強化学習に基づく抽象モデルを提案する。
  論文  参考訳（メタデータ） (2022-12-21T08:34:28Z)
• Improving Multi-Document Summarization through Referenced Flexible Extraction with Credit-Awareness [21.037841262371355]
  MDS(Multi-Document Summarization)における注目すべき課題は、入力の非常に長い長さである。 本稿では,この問題を克服するための抽出・抽出・吸収変換器フレームワークを提案する。 擬似抽出オラクルにない文の不等式の重要性をモデルに認識させる損失重み付け機構を提案する。
  論文  参考訳（メタデータ） (2022-05-04T04:40:39Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• StreamHover: Livestream Transcript Summarization and Annotation [54.41877742041611]
  ライブストリームの書き起こしを注釈付けして要約するフレームワークであるStreamHoverを紹介します。 合計500時間以上のビデオに抽出的要約と抽象的要約を併用したベンチマークデータセットは,既存の注釈付きコーパスよりもはるかに大きい。 我々のモデルはより一般化され、強力なベースラインよりも性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-09-11T02:19:37Z)
• Transductive Learning for Abstractive News Summarization [24.03781438153328]
  トランスダクティブラーニングの要約への最初の適用を提案する。 このアプローチはCNN/DMおよびNYTデータセットに最先端の結果をもたらすことを示しています。
  論文  参考訳（メタデータ） (2021-04-17T17:33:12Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)
• Exploring Explainable Selection to Control Abstractive Summarization [51.74889133688111]
  説明可能性を重視した新しいフレームワークを開発する。 新しいペアワイズ行列は、文の相互作用、中心性、属性スコアをキャプチャする。 コンストラクタ内の文分割アテンション機構は、最終要約が所望のコンテンツを強調することを保証する。
  論文  参考訳（メタデータ） (2020-04-24T14:39:34Z)
• AMR Parsing via Graph-Sequence Iterative Inference [62.85003739964878]
  本稿では,AMR解析を入力シーケンスとインクリメンタルに構築されたグラフ上での2つの決定の連続として扱うエンド・ツー・エンドのモデルを提案する。 これら2つの質問に対する回答は相互因果関係であることを示す。 我々は、両方の視点でより良い回答を得るのに役立つ反復推論に基づくモデルを設計し、解析精度を大幅に改善する。
  論文  参考訳（メタデータ） (2020-04-12T09:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。