論文の概要: Extract-and-Abstract: Unifying Extractive and Abstractive Summarization within Single Encoder-Decoder Framework
- arxiv url: http://arxiv.org/abs/2409.11827v1
- Date: Wed, 18 Sep 2024 09:21:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 18:23:34.797327
- Title: Extract-and-Abstract: Unifying Extractive and Abstractive Summarization within Single Encoder-Decoder Framework
- Title（参考訳）: Extract-and-Abstract: Single Encoder-Decoder Framework内での抽出と抽象の要約を統一する
- Authors: Yuping Wu, Hao Li, Hongbo Zhu, Goran Nenadic, Xiao-Jun Zeng,
- Abstract要約: 本稿では,単一エンコーダ-デコーダモデルにおいて,抽出および抽象的要約タスクを協調的かつシームレスに実行するExtAbsを提案する。
ExtAbsでは、バニラエンコーダを増設して塩分を抽出し、バニラデコーダを提案された塩分マスクで修正してサマリーを生成する。
実験により、ExtAbsは抽出タスクのベースラインよりも優れたパフォーマンスを達成でき、抽象タスクのバニラモデルよりも同等か、さらに優れていることが示されている。
- 参考スコア（独自算出の注目度）: 24.97672212363703
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Extract-then-Abstract is a naturally coherent paradigm to conduct abstractive summarization with the help of salient information identified by the extractive model. Previous works that adopt this paradigm train the extractor and abstractor separately and introduce extra parameters to highlight the extracted salients to the abstractor, which results in error accumulation and additional training costs. In this paper, we first introduce a parameter-free highlight method into the encoder-decoder framework: replacing the encoder attention mask with a saliency mask in the cross-attention module to force the decoder to focus only on salient parts of the input. A preliminary analysis compares different highlight methods, demonstrating the effectiveness of our saliency mask. We further propose the novel extract-and-abstract paradigm, ExtAbs, which jointly and seamlessly performs Extractive and Abstractive summarization tasks within single encoder-decoder model to reduce error accumulation. In ExtAbs, the vanilla encoder is augmented to extract salients, and the vanilla decoder is modified with the proposed saliency mask to generate summaries. Built upon BART and PEGASUS, experiments on three datasets show that ExtAbs can achieve superior performance than baselines on the extractive task and performs comparable, or even better than the vanilla models on the abstractive task.
- Abstract（参考訳）: Extract-then-Abstractは、抽出モデルによって識別された有能な情報の助けを借りて抽象的な要約を行う自然なコヒーレントなパラダイムである。
このパラダイムを採用する以前の作業は、抽出器と抽象器を別々に訓練し、抽出した塩分を抽象器に強調するために余分なパラメータを導入し、エラー蓄積と追加の訓練コストをもたらす。
本稿では、まず、エンコーダ・デコーダ・フレームワークにパラメータフリーハイライト手法を導入し、エンコーダ・アテンダ・マスクをクロスアテンションモジュールのサリエンシ・マスクに置き換え、デコーダを入力のサリエント部分にのみフォーカスするように強制する。
予備分析では,サリエンシマスクの有効性を実証し,異なるハイライト手法を比較した。
さらに,単一エンコーダ・デコーダモデルにおける抽出および抽象的要約タスクを協調的かつシームレスに実行し,エラーの蓄積を低減する新しい抽出・抽出パラダイムExtAbsを提案する。
ExtAbsでは、バニラエンコーダを増設して塩分を抽出し、バニラデコーダを提案された塩分マスクで修正してサマリーを生成する。
BARTとPEGASUSをベースとした3つのデータセットの実験では、ExtAbsは抽出タスクのベースラインよりも優れたパフォーマンスを達成でき、抽象タスクのバニラモデルよりも同等か、さらに優れていることが示されている。
関連論文リスト
- How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval? [120.49126407479717]
スケッチの抽象化を様々なレベルで処理できるスケッチベース画像検索フレームワークを提案する。
粒度レベルの抽象理解のために、検索モデルはすべての抽象レベルを等しく扱ってはならないと規定する。
私たちのAcc.@qの損失は、評価がいかに厳格であるかという点で、スケッチが焦点を絞りたり壊したりできます。
論文 参考訳（メタデータ） (2024-03-11T23:08:29Z) - Generalizable Entity Grounding via Assistance of Large Language Model [77.07759442298666]
本稿では,長いキャプションから密接な視覚的実体を抽出する手法を提案する。
本研究では,意味代名詞の抽出に大規模なマルチモーダルモデル,エンティティレベルのセグメンテーションを生成するクラス-aセグメンテーションモデル,および各セグメンテーション名詞と対応するセグメンテーションマスクを関連付けるマルチモーダル特徴融合モジュールを利用する。
論文 参考訳（メタデータ） (2024-02-04T16:06:05Z) - Efficient and Interpretable Compressive Text Summarisation with
Unsupervised Dual-Agent Reinforcement Learning [36.93582300019002]
教師なし二重エージェント強化学習を用いた効率よく解釈可能な圧縮要約法を提案する。
本モデルでは,ROUGE 測定値を用いて,有望な性能と,Newsroom の大幅な改善を実現している。
論文 参考訳（メタデータ） (2023-06-06T05:30:49Z) - Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。
文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
論文 参考訳（メタデータ） (2023-05-18T16:02:04Z) - A Simple Framework for Open-Vocabulary Segmentation and Detection [85.21641508535679]
我々は,異なるセグメンテーションと検出データセットから共同で学習する,シンプルなオープン語彙検出フレームワークOpenSeeDを提案する。
まず、事前学習されたテキストエンコーダを導入し、視覚概念を2つのタスクにエンコードし、それらの共通意味空間を学習する。
プレトレーニング後,本モデルでは,セグメンテーションと検出の両方において,競争力あるいは強いゼロショット転送性を示す。
論文 参考訳（メタデータ） (2023-03-14T17:58:34Z) - An Extractive-and-Abstractive Framework for Source Code Summarization [28.553366270065656]
コード要約は、自然言語の形式で与えられたコードスニペットの要約/記事を自動的に生成することを目的としている。
そこで本研究では,人文的な要約を生成できる新しい抽出・抽象的枠組みを提案する。
論文 参考訳（メタデータ） (2022-06-15T02:14:24Z) - Improving Multi-Document Summarization through Referenced Flexible
Extraction with Credit-Awareness [21.037841262371355]
MDS(Multi-Document Summarization)における注目すべき課題は、入力の非常に長い長さである。
本稿では,この問題を克服するための抽出・抽出・吸収変換器フレームワークを提案する。
擬似抽出オラクルにない文の不等式の重要性をモデルに認識させる損失重み付け機構を提案する。
論文 参考訳（メタデータ） (2022-05-04T04:40:39Z) - HydraSum -- Disentangling Stylistic Features in Text Summarization using
Multi-Decoder Models [12.070474521259776]
現在のモデルの単一デコーダフレームワークを拡張した,新しい要約アーキテクチャであるHydraSumを紹介する。
提案モデルでは,各専門家,すなわちデコーダに対して,スタイリスティックな要約の学習と生成を奨励する。
トレーニングプロセスのガイド付きバージョンは、デコーダ間でどのサマリスタイルが分割されているかを明示的に規定することができる。
論文 参考訳（メタデータ） (2021-10-08T22:49:49Z) - Contrastive Triple Extraction with Generative Transformer [72.21467482853232]
生成変換器を用いた新しい3重抽出モデルを提案する。
具体的には,エンコーダデコーダをベースとした1つの共有トランスフォーマモジュールを提案する。
忠実な結果を得るために,新しい三重項コントラストトレーニングオブジェクトを提案する。
論文 参考訳（メタデータ） (2020-09-14T05:29:24Z) - Combination of abstractive and extractive approaches for summarization
of long scientific texts [0.0]
本稿では,抽出的手法と抽象的手法の両方を用いて,長い科学的文書の要約を生成する手法を提案する。
抽出モデルと抽象モデルとを併用することにより,要約結果とROUGEスコアが有意に向上することを示した。
論文 参考訳（メタデータ） (2020-06-09T15:38:21Z) - Exploring Explainable Selection to Control Abstractive Summarization [51.74889133688111]
説明可能性を重視した新しいフレームワークを開発する。
新しいペアワイズ行列は、文の相互作用、中心性、属性スコアをキャプチャする。
コンストラクタ内の文分割アテンション機構は、最終要約が所望のコンテンツを強調することを保証する。
論文 参考訳（メタデータ） (2020-04-24T14:39:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。