論文の概要: Fact-level Extractive Summarization with Hierarchical Graph Mask on BERT

• arxiv url: http://arxiv.org/abs/2011.09739v1
• Date: Thu, 19 Nov 2020 09:29:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 21:00:32.654695
• Title: Fact-level Extractive Summarization with Hierarchical Graph Mask on BERT
• Title（参考訳）: 階層グラフマスクを用いたBERT上のFact-level ExtractiveSummarization
• Authors: Ruifeng Yuan, Zili Wang, Wenjie Li
• Abstract要約: より優れた抽出要約のためのファクトレベルのセマンティックユニットを抽出することを提案する。 階層グラフマスクを用いてBERTにモデルを組み込む。 CNN/DaliyMailデータセットの実験は、我々のモデルが最先端の結果を得ることを示す。
• 参考スコア（独自算出の注目度）: 9.271716501646194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most current extractive summarization models generate summaries by selecting salient sentences. However, one of the problems with sentence-level extractive summarization is that there exists a gap between the human-written gold summary and the oracle sentence labels. In this paper, we propose to extract fact-level semantic units for better extractive summarization. We also introduce a hierarchical structure, which incorporates the multi-level of granularities of the textual information into the model. In addition, we incorporate our model with BERT using a hierarchical graph mask. This allows us to combine BERT's ability in natural language understanding and the structural information without increasing the scale of the model. Experiments on the CNN/DaliyMail dataset show that our model achieves state-of-the-art results.
• Abstract（参考訳）: 現在の抽出要約モデルのほとんどは、有能な文を選択して要約を生成する。 しかし, 文章レベルの抽出要約の問題点の1つは, 人間の筆記した金の要約とオラクルの文ラベルとの間にギャップがあることである。 本稿では,より優れた抽出的要約のためのファクトレベルの意味単位を抽出することを提案する。 また,テキスト情報の多層的な粒度をモデルに組み込んだ階層構造も導入する。 さらに、階層グラフマスクを用いてBERTにモデルを組み込む。 これにより、モデルを拡大することなく、自然言語理解におけるBERTの能力と構造情報を組み合わせることができる。 CNN/DaliyMailデータセットの実験は、我々のモデルが最先端の結果を得ることを示す。

関連論文リスト

• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• Source Identification in Abstractive Summarization [0.8883733362171033]
  生成された要約文に必須情報を含む入力文を$textitsource文として定義し、ソース文を解析して抽象的な要約がどのように作られるかを研究する。 我々は,複数の手法を比較し,タスクの強いベースラインを確立するために,自動ソース文検出を定式化する。 実験結果から, パープレキシティに基づく手法は, 比較的抽象的条件下では良好に動作し, 類似性に基づく手法は比較的抽出的条件下では頑健であることがわかった。
  論文  参考訳（メタデータ） (2024-02-07T09:09:09Z)
• Text Summarization with Oracle Expectation [88.39032981994535]
  抽出要約は、文書の中で最も重要な文を識別し、連結することによって要約を生成する。 ほとんどの要約データセットは、文書文が要約に値するかどうかを示す金のラベルを持っていない。 本稿では,ソフトな予測に基づく文ラベルを生成する,シンプルで効果的なラベル付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T14:10:08Z)
• HiStruct+: Improving Extractive Text Summarization with Hierarchical Structure Information [0.6443952406204634]
  本稿では,階層構造情報を抽出要約モデルに明示的に記述,抽出,エンコード,注入する新しい手法を提案する。 3つのデータセット(CNN/DailyMail、PubMed、arXivなど)のさまざまな実験的な設定を使用して、HiStruct+モデルは、一括して強力なベースラインをパフォーマンスします。
  論文  参考訳（メタデータ） (2022-03-17T21:49:26Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Meeting Summarization with Pre-training and Clustering Methods [6.47783315109491]
  HMNetcitehmnetは、ワードレベルのトランスフォーマーとターンレベルのトランスフォーマーの両方をベースラインとして使用する階層型ネットワークである。 中間クラスタリングステップでQMSumciteqmsumの位置列列化アプローチを拡張する。 ベースラインモデルの性能を,要約に有効な最先端言語モデルであるBARTと比較する。
  論文  参考訳（メタデータ） (2021-11-16T03:14:40Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。