論文の概要: Improving Multi-Document Summarization through Referenced Flexible
Extraction with Credit-Awareness
- arxiv url: http://arxiv.org/abs/2205.01889v1
- Date: Wed, 4 May 2022 04:40:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-06 00:50:08.423695
- Title: Improving Multi-Document Summarization through Referenced Flexible
Extraction with Credit-Awareness
- Title（参考訳）: 信用認識による参照フレキシブル抽出による複数文書要約の改善
- Authors: Yun-Zhu Song and Yi-Syuan Chen and Hong-Han Shuai
- Abstract要約: MDS(Multi-Document Summarization)における注目すべき課題は、入力の非常に長い長さである。
本稿では,この問題を克服するための抽出・抽出・吸収変換器フレームワークを提案する。
擬似抽出オラクルにない文の不等式の重要性をモデルに認識させる損失重み付け機構を提案する。
- 参考スコア（独自算出の注目度）: 21.037841262371355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A notable challenge in Multi-Document Summarization (MDS) is the
extremely-long length of the input. In this paper, we present an
extract-then-abstract Transformer framework to overcome the problem.
Specifically, we leverage pre-trained language models to construct a
hierarchical extractor for salient sentence selection across documents and an
abstractor for rewriting the selected contents as summaries. However, learning
such a framework is challenging since the optimal contents for the abstractor
are generally unknown. Previous works typically create pseudo extraction oracle
to enable the supervised learning for both the extractor and the abstractor.
Nevertheless, we argue that the performance of such methods could be restricted
due to the insufficient information for prediction and inconsistent objectives
between training and testing. To this end, we propose a loss weighting
mechanism that makes the model aware of the unequal importance for the
sentences not in the pseudo extraction oracle, and leverage the fine-tuned
abstractor to generate summary references as auxiliary signals for learning the
extractor. Moreover, we propose a reinforcement learning method that can
efficiently apply to the extractor for harmonizing the optimization between
training and testing. Experiment results show that our framework substantially
outperforms strong baselines with comparable model sizes and achieves the best
results on the Multi-News, Multi-XScience, and WikiCatSum corpora.
- Abstract（参考訳）: MDS(Multi-Document Summarization)における注目すべき課題は、入力の非常に長い長さである。
本稿では,この問題を克服するための抽出・吸収トランスフォーマフレームワークを提案する。
具体的には,事前学習された言語モデルを用いて,文書間を横断する文選択のための階層的抽出器と,選択した内容を要約として書き直すための要約器を構築する。
しかし,そのような枠組みの学習は,抽象化者の最適内容が一般に不明であるため,困難である。
従来の研究は典型的に擬似抽出オラクルを作成し、抽出器と抽象器の両方の教師付き学習を可能にする。
しかし,これらの手法の性能は,予測に不十分な情報や,トレーニングとテストの相容れない目的のために制限される可能性があると論じる。
そこで本研究では,疑似抽出神託にない文に対する不等さをモデルに認識させるロス重み付け機構を提案し,微調整された要約子を用いて,抽出子を学習するための補助信号として要約参照を生成する。
また,トレーニングとテストの最適化を調和させるため,抽出器に効率的に適用可能な強化学習手法を提案する。
実験の結果,本フレームワークはモデルサイズに匹敵するベースラインを著しく上回り,Multi-News,Multi-XScience,WikiCatSum corporaで最高の結果が得られることがわかった。
関連論文リスト
- Learning to Extract Structured Entities Using Language Models [52.281701191329]
機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。
タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。
我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
論文 参考訳（メタデータ） (2024-02-06T22:15:09Z) - Leveraging Knowledge Graph Embeddings to Enhance Contextual
Representations for Relation Extraction [0.0]
コーパススケールに事前学習した知識グラフを組み込んだ文レベルの文脈表現への関係抽出手法を提案する。
提案手法の有望かつ非常に興味深い結果を示す一連の実験を行った。
論文 参考訳（メタデータ） (2023-06-07T07:15:20Z) - Learning with Rejection for Abstractive Text Summarization [42.15551472507393]
本稿では,拒絶学習に基づく抽象的な要約のための学習目標を提案する。
本手法は, 自動評価と人的評価において, 生成した要約の事実性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-02-16T19:07:08Z) - Active Learning for Abstractive Text Summarization [50.79416783266641]
本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。
ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
論文 参考訳（メタデータ） (2023-01-09T10:33:14Z) - Generating Multiple-Length Summaries via Reinforcement Learning for
Unsupervised Sentence Summarization [44.835811239393244]
文要約は、テキストの中核的な内容を維持しながら与えられたテキストを短縮する。
人書きの要約のないテキストを要約するために、教師なしのアプローチが研究されている。
本研究では, 基礎構造を含まない強化学習に基づく抽象モデルを提案する。
論文 参考訳（メタデータ） (2022-12-21T08:34:28Z) - Salience Allocation as Guidance for Abstractive Summarization [61.31826412150143]
本稿では, サリエンセ・サリエンス・ガイダンス(SEASON, SaliencE Allocation as Guidance for Abstractive SummarizatiON)を用いた新しい要約手法を提案する。
SEASONは、サリエンス予測の割り当てを利用して抽象的な要約を導き、異なる抽象性のある記事に順応する。
論文 参考訳（メタデータ） (2022-10-22T02:13:44Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳（メタデータ） (2021-09-24T17:37:35Z) - Topic-Guided Abstractive Text Summarization: a Joint Learning Approach [19.623946402970933]
本稿では,抽象テキスト要約のための新しいアプローチ,トピックガイドによる抽象要約を提案する。
ニューラルネットワークをTransformerベースのシーケンス・ツー・シーケンス(seq2seq)モデルに結合学習フレームワークに組み込むことが目的だ。
論文 参考訳（メタデータ） (2020-10-20T14:45:25Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳（メタデータ） (2020-10-06T02:51:02Z) - Combination of abstractive and extractive approaches for summarization
of long scientific texts [0.0]
本稿では,抽出的手法と抽象的手法の両方を用いて,長い科学的文書の要約を生成する手法を提案する。
抽出モデルと抽象モデルとを併用することにより,要約結果とROUGEスコアが有意に向上することを示した。
論文 参考訳（メタデータ） (2020-06-09T15:38:21Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-04T14:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。