論文の概要: Mind The Facts: Knowledge-Boosted Coherent Abstractive Text Summarization

• arxiv url: http://arxiv.org/abs/2006.15435v1
• Date: Sat, 27 Jun 2020 20:06:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 07:51:29.210748
• Title: Mind The Facts: Knowledge-Boosted Coherent Abstractive Text Summarization
• Title（参考訳）: マインド・ザ・ファクト:知識に富んだコヒーレントな抽象テキスト要約
• Authors: Beliz Gunel, Chenguang Zhu, Michael Zeng, Xuedong Huang
• Abstract要約: 本稿ではトランスフォーマーエンコーダデコーダアーキテクチャを拡張した新しいアーキテクチャを提案する。 Wikidataナレッジグラフからエンティティレベルの知識をエンコーダ・デコーダアーキテクチャに組み込む。 これにより、ソース記事が長い場合でも、コヒーレントな要約を生成するのに役立ちます。
• 参考スコア（独自算出の注目度）: 47.47707316595568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural models have become successful at producing abstractive summaries that are human-readable and fluent. However, these models have two critical shortcomings: they often don't respect the facts that are either included in the source article or are known to humans as commonsense knowledge, and they don't produce coherent summaries when the source article is long. In this work, we propose a novel architecture that extends Transformer encoder-decoder architecture in order to improve on these shortcomings. First, we incorporate entity-level knowledge from the Wikidata knowledge graph into the encoder-decoder architecture. Injecting structural world knowledge from Wikidata helps our abstractive summarization model to be more fact-aware. Second, we utilize the ideas used in Transformer-XL language model in our proposed encoder-decoder architecture. This helps our model with producing coherent summaries even when the source article is long. We test our model on CNN/Daily Mail summarization dataset and show improvements on ROUGE scores over the baseline Transformer model. We also include model predictions for which our model accurately conveys the facts, while the baseline Transformer model doesn't.
• Abstract（参考訳）: ニューラルモデルは、人間に読みやすく、流動的な抽象的な要約を生成することに成功している。 しかしながら、これらのモデルには2つの重要な欠点がある。彼らはしばしばソース記事に含まれる事実を尊重せず、また、人間には常識知識として知られておらず、ソース記事が長いときに一貫性のある要約を生成しない。 本研究では,トランスフォーマーエンコーダデコーダアーキテクチャを拡張し,これらの欠点を改善するためのアーキテクチャを提案する。 まず,Wikidataナレッジグラフからエンティティレベルの知識をエンコーダ・デコーダアーキテクチャに組み込む。 Wikidataから構造世界知識を注入することで、抽象的な要約モデルがより事実に認識できるようになる。 次に,Transformer-XL言語モデルで使用されるアイデアを,提案したエンコーダ・デコーダアーキテクチャで活用する。 これは、ソース記事が長い場合でもコヒーレントな要約を生成するのに役立ちます。 CNN/Daily Mailの要約データセット上で本モデルを検証し,ベースライントランスフォーマーモデルによるROUGEスコアの改善を示す。 また,モデルが事実を正確に伝達するモデル予測も含んでいるが,ベースライントランスフォーマーモデルではそうではない。

関連論文リスト

• Abstractive Summary Generation for the Urdu Language [1.9594639581421422]
  我々は、自己認識機構を利用して入力テキストを符号化し、要約を生成するトランスフォーマーベースのモデルを用いる。 実験の結果,我々のモデルは文法的に正し,意味的に意味のある要約を生成できることがわかった。
  論文  参考訳（メタデータ） (2023-05-25T15:55:42Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• HYDRA -- Hyper Dependency Representation Attentions [4.697611383288171]
  そこで本稿では,トランスフォーマーモデルに知識を注入するために,事前学習を行うことなく,より軽量な言語自己意図型ヘッドを提案する。 私たちのアプローチは、教師なしの学習をモデルに残して、言語知識を厳格に適合させるというバランスのとれたパラダイムです。 我々は,言語知識のトランスフォーマーモデルへの貢献を示すために,ベンチマークデータセットのフレームワークを実証的に検証した。
  論文  参考訳（メタデータ） (2021-09-11T19:17:34Z)
• Enriching Transformers with Structured Tensor-Product Representations for Abstractive Summarization [131.23966358405767]
  抽象的な要約のタスクに対して,明示的に構成された製品表現(TPR)をTP-TRANSFORMERに適用する。 モデルの主な特徴は、トークンごとに2つの別々の表現を符号化することで導入する構造バイアスである。 本稿では,TP-TRANSFORMER が Transformer と TP-TRANSFORMER より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T17:32:33Z)
• Generating abstractive summaries of Lithuanian news articles using a transformer model [0.0]
  我々はリトアニアのニュース記事のコーパスで最初の単言語リトアニアトランスフォーマーモデルを訓練する。 抽象ニュース要約のための様々な出力復号アルゴリズムを比較した。 すべての技術的詳細を説明し、トレーニングを受けたモデルと付随するコードをオンラインオープンソースリポジトリで共有します。
  論文  参考訳（メタデータ） (2021-04-23T20:10:42Z)
• SIT3: Code Summarization with Structure-Induced Transformer [48.000063280183376]
  シーケンシャル入力を高効率な構造モデリングでエンコードする構造誘起自己保持に基づく新しいモデルを提案する。 新たに提案したモデルでは,一般的なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2020-12-29T11:37:43Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)
• Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling [4.525267347429154]
  BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。 さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。 我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
  論文  参考訳（メタデータ） (2020-03-29T14:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。