論文の概要: Enriching and Controlling Global Semantics for Text Summarization

• arxiv url: http://arxiv.org/abs/2109.10616v1
• Date: Wed, 22 Sep 2021 09:31:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 13:48:06.440330
• Title: Enriching and Controlling Global Semantics for Text Summarization
• Title（参考訳）: テキスト要約のためのグローバルセマンティクスの強化と制御
• Authors: Thong Nguyen, Anh Tuan Luu, Truc Lu, Tho Quan
• Abstract要約: トランスフォーマーに基づくモデルは、流動的で情報的な要約を作成することで抽象的な要約タスクに有効であることが証明されている。 文書のグローバルな意味を捉えるために,正規化フローを付与したニューラルトピックモデルを導入し,それを要約モデルに統合する。 本手法は,5つの共通テキスト要約データセットにおいて,最先端の要約モデルより優れる。
• 参考スコア（独自算出の注目度）: 11.037667460077813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Transformer-based models have been proven effective in the abstractive summarization task by creating fluent and informative summaries. Nevertheless, these models still suffer from the short-range dependency problem, causing them to produce summaries that miss the key points of document. In this paper, we attempt to address this issue by introducing a neural topic model empowered with normalizing flow to capture the global semantics of the document, which are then integrated into the summarization model. In addition, to avoid the overwhelming effect of global semantics on contextualized representation, we introduce a mechanism to control the amount of global semantics supplied to the text generation module. Our method outperforms state-of-the-art summarization models on five common text summarization datasets, namely CNN/DailyMail, XSum, Reddit TIFU, arXiv, and PubMed.
• Abstract（参考訳）: 近年, トランスフォーマティブモデルが, 統語的および情報的要約を作成することで, 抽象的要約タスクにおいて有効であることが証明されている。 それでもこれらのモデルは依然として短距離依存の問題に悩まされており、ドキュメントのキーポイントを見逃すような要約を生成することになる。 本稿では,文書のグローバルな意味を捉えるために,正規化フローを付与したニューラルトピックモデルを導入し,それを要約モデルに統合することによってこの問題に対処する。 さらに,コンテキスト化表現に対するグローバルセマンティクスの圧倒的影響を避けるために,テキスト生成モジュールに供給されるグローバルセマンティクス量を制御する機構を導入する。 提案手法は, CNN/DailyMail, XSum, Reddit TIFU, arXiv, PubMedの5つの共通テキスト要約データセット上で, 最先端の要約モデルより優れている。

関連論文リスト

• Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
  本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。 我々は,教師モデルとしてPythia-2.8Bから出発する。 我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
  論文  参考訳（メタデータ） (2024-03-20T17:42:08Z)
• Controllable Topic-Focused Abstractive Summarization [57.8015120583044]
  制御された抽象的な要約は、特定の側面をカバーするために、ソース記事の凝縮したバージョンを作成することに焦点を当てる。 本稿では,トピックに着目した要約を生成可能なトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-12T03:51:38Z)
• GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization [22.053942327552583]
  グローバルな意味情報を取得するためのグラフコントラストトピック拡張言語モデル(GRETEL)を提案する。 GRETELは階層型トランスフォーマーエンコーダとグラフコントラスト学習を統合し,グローバル文書コンテキストとゴールド要約から意味情報を融合する。 一般領域およびバイオメディカルデータセットの実験結果から,提案手法がSOTA法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-21T23:09:29Z)
• NEWTS: A Corpus for News Topic-Focused Summarization [9.872518517174498]
  本稿では,CNN/Dailymailデータセットに基づく最初の話題要約コーパスを提案する。 提案手法の有効性を検証し,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-05-31T10:01:38Z)
• Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
  本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-07T19:01:40Z)
• Dialogue Summarization with Supporting Utterance Flow Modeling and Fact Regularization [58.965859508695225]
  本稿では、2つの新しいモジュールを用いた対話要約のためのエンドツーエンドニューラルネットワークを提案する。 サポートされた発話フローモデリングは、前者の発話から後者へのフォーカスを円滑にシフトさせることで、コヒーレントな要約を生成するのに役立つ。 事実の正則化は、モデルトレーニング中に生成された要約は、基礎と真実の要約と実際に一致するように促します。
  論文  参考訳（メタデータ） (2021-08-03T03:09:25Z)
• Topic-Guided Abstractive Text Summarization: a Joint Learning Approach [19.623946402970933]
  本稿では,抽象テキスト要約のための新しいアプローチ,トピックガイドによる抽象要約を提案する。 ニューラルネットワークをTransformerベースのシーケンス・ツー・シーケンス(seq2seq)モデルに結合学習フレームワークに組み込むことが目的だ。
  論文  参考訳（メタデータ） (2020-10-20T14:45:25Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。