論文の概要: Improving Long Text Understanding with Knowledge Distilled from Summarization Model

• arxiv url: http://arxiv.org/abs/2405.04955v1
• Date: Wed, 8 May 2024 10:49:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 14:44:45.426013
• Title: Improving Long Text Understanding with Knowledge Distilled from Summarization Model
• Title（参考訳）: 要約モデルから抽出した知識による長文理解の改善
• Authors: Yan Liu, Yazheng Yang, Xiaokang Chen,
• Abstract要約: 本稿では,要約モデルのgist検出能力を活用するためのemphGist Detectorを提案する。 Gist Detectorはまず、要約モデルから抽出したギスト検出知識を学習し、その後、ギスト認識表現を生成する。 提案手法は,長い文書分類,遠隔教師付きオープンドメイン質問応答,非並列テキストスタイル転送の3つのタスクで評価する。
• 参考スコア（独自算出の注目度）: 17.39913210351487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long text understanding is important yet challenging for natural language processing. A long article or document usually contains many redundant words that are not pertinent to its gist and sometimes can be regarded as noise. With recent advances of abstractive summarization, we propose our \emph{Gist Detector} to leverage the gist detection ability of a summarization model and integrate the extracted gist into downstream models to enhance their long text understanding ability. Specifically, Gist Detector first learns the gist detection knowledge distilled from a summarization model, and then produces gist-aware representations to augment downstream models. We evaluate our method on three different tasks: long document classification, distantly supervised open-domain question answering, and non-parallel text style transfer. The experimental results show that our method can significantly improve the performance of baseline models on all tasks.
• Abstract（参考訳）: 長い文章の理解は、自然言語処理にとって重要だが難しい。 長い記事や文書は通常、そのジストに関係のない多くの冗長な単語を含み、時にはノイズと見なされる。 近年の抽象要約の進歩により,要約モデルのgist検出能力を活用し,抽出したgistを下流モデルに統合し,長文理解能力を向上するためのemph{Gist Detector}を提案する。 具体的には、Gist Detectorはまず、要約モデルから抽出されたギスト検出知識を学習し、その後、下流モデルを拡張するためにギスト認識表現を生成する。 提案手法は,長い文書分類,遠隔教師付きオープンドメイン質問応答,非並列テキストスタイル転送の3つのタスクで評価する。 実験結果から,本手法は全タスクにおけるベースラインモデルの性能を大幅に向上させることができることがわかった。

関連論文リスト

• Improving Sequence-to-Sequence Models for Abstractive Text Summarization Using Meta Heuristic Approaches [0.0]
  人間には抽象的な能力がある。 ニューラルネットワークの抽象的テキスト要約にSequence-to-Sequence(seq2seq)モデルを使用することは、流行まで上昇している。 本稿では,抽象的なテキスト要約のためのアーキテクチャとモデルを改良することを目的としている。
  論文  参考訳（メタデータ） (2024-03-24T17:39:36Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Retrieval augmentation of large language models for lay language generation [12.686922203465896]
  本稿では,最大 (63kペア) および最大 (12ジャーナル) 並列コーパスである CellS を紹介した。 抽象化とそれに対応するレイ言語要約は、ドメインの専門家によって書かれ、データセットの品質が保証されます。 我々はCellSから2つの特別なペアコーパスを抽出し、素言語生成における重要な課題に対処する。
  論文  参考訳（メタデータ） (2022-11-07T19:06:53Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Enhance Long Text Understanding via Distilled Gist Detector from Abstractive Summarization [7.851265919027389]
  我々は、長文理解において、ジスト関連かつ無関係な情報を解き放つ方法の問題点を考察する。 文書分類, 遠隔教師付きオープンドメイン質問応答 (DS-QA) および非並列テキストスタイルの転送実験により, 本手法がベースラインモデルの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2021-10-10T09:21:24Z)
• StreamHover: Livestream Transcript Summarization and Annotation [54.41877742041611]
  ライブストリームの書き起こしを注釈付けして要約するフレームワークであるStreamHoverを紹介します。 合計500時間以上のビデオに抽出的要約と抽象的要約を併用したベンチマークデータセットは,既存の注釈付きコーパスよりもはるかに大きい。 我々のモデルはより一般化され、強力なベースラインよりも性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-09-11T02:19:37Z)
• To Point or Not to Point: Understanding How Abstractive Summarizers Paraphrase Text [4.4044968357361745]
  本稿では、Seeなどのポインタジェネレータモデルである1つの一般的な抽象モデルが、その抽象レベルを制御するために、その明示的なコピー/ジェネレータスイッチを使用していることを特徴付ける。 コピー/ジェネレーションスイッチを変更してモデルを強制すると、実際の不正確さと幻覚とともに単純な神経能力のみが明らかになる。 これらの結果から,抽象的要約モデルには,抽象的かつ忠実なパラフレーズを生成するために必要な意味的理解が欠如していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-03T04:03:15Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)
• Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
  ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。 テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
  論文  参考訳（メタデータ） (2020-04-21T16:54:57Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。