論文の概要: Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization

• arxiv url: http://arxiv.org/abs/2112.11670v1
• Date: Wed, 22 Dec 2021 05:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 14:27:09.995484
• Title: Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization
• Title（参考訳）: 事前学習されたトランスフォーマによるクエリ中心の抽象テキスト要約のためのドメイン適応
• Authors: Md Tahmid Rahman Laskar, Enamul Hoque, Jimmy Xiangji Huang
• Abstract要約: Query Focused Text Summarization (QFTS)タスクは、与えられたクエリに基づいてテキストドキュメントの要約を生成するシステムを構築することを目的としている。 この課題に対処する上で重要な課題は、要約モデルをトレーニングするための大きなラベル付きデータの欠如である。 本稿では,一連のドメイン適応手法を探求することによって,この問題に対処する。
• 参考スコア（独自算出の注目度）: 18.791701342934605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Query Focused Text Summarization (QFTS) task aims at building systems that generate the summary of the text document(s) based on the given query. A key challenge in addressing this task is the lack of large labeled data for training the summarization model. In this paper, we address this challenge by exploring a series of domain adaptation techniques. Given the recent success of pre-trained transformer models in a wide range of natural language processing tasks, we utilize such models to generate abstractive summaries for the QFTS task for both single-document and multi-document scenarios. For domain adaptation, we apply a variety of techniques using pre-trained transformer-based summarization models including transfer learning, weakly supervised learning, and distant supervision. Extensive experiments on six datasets show that our proposed approach is very effective in generating abstractive summaries for the QFTS task while setting a new state-of-the-art result in several datasets across a set of automatic and human evaluation metrics.
• Abstract（参考訳）: Query Focused Text Summarization (QFTS)タスクは、与えられたクエリに基づいてテキストドキュメントの要約を生成するシステムを構築することを目的としている。 この課題に対処する上で重要な課題は、要約モデルをトレーニングするための大きなラベル付きデータの不足である。 本稿では,一連のドメイン適応手法を探求することによって,この問題に対処する。 近年の自然言語処理タスクにおける事前学習されたトランスフォーマーモデルの成功を踏まえて,このようなモデルを用いて単一文書および複数文書シナリオのqftsタスクのための抽象要約を生成する。 ドメイン適応には、転送学習、弱い教師付き学習、遠方の監督など、事前学習されたトランスフォーマライズモデルを用いた様々な手法を適用する。 6つのデータセットを広範囲に実験した結果,提案手法はqftsタスクの抽象要約生成に非常に効果的であり,また,自動評価指標と人間評価指標のセットにまたがる複数のデータセットを新たに設定した。

関連論文リスト

• Controllable Topic-Focused Abstractive Summarization [57.8015120583044]
  制御された抽象的な要約は、特定の側面をカバーするために、ソース記事の凝縮したバージョンを作成することに焦点を当てる。 本稿では,トピックに着目した要約を生成可能なトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-12T03:51:38Z)
• Integrating Contrastive Learning into a Multitask Transformer Model for Effective Domain Adaptation [4.157415305926585]
  本稿では,SERを主課題とするマルチタスクフレームワークを具現化した新しいドメイン適応手法を提案する。 提案手法は, クロスコーパスシナリオにおけるSERの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-07T06:41:29Z)
• Absformer: Transformer-based Model for Unsupervised Multi-Document Abstractive Summarization [1.066048003460524]
  MDS(Multi-document summarization)とは、複数の文書のテキストを簡潔な要約に要約する作業である。 抽象MDSは、自然言語生成技術を用いて、複数の文書の一貫性と流動性を備えた要約を生成することを目的としている。 本稿では、教師なし抽象要約生成のためのトランスフォーマーに基づく新しい手法であるAbsformerを提案する。
  論文  参考訳（メタデータ） (2023-06-07T21:18:23Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• Transformer Based Implementation for Automatic Book Summarization [0.0]
  文書要約 (Document Summarization) とは、ある文書の意味的かつ簡潔な要約を生成する手順である。 この作業は、抽象生成にTransformerベースのテクニックを使用する試みである。
  論文  参考訳（メタデータ） (2023-01-17T18:18:51Z)
• Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
  そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。 新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能 我々は,我々のモデルの有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-06T08:42:05Z)
• DSGPT: Domain-Specific Generative Pre-Training of Transformers for Text Generation in E-commerce Title and Review Summarization [14.414693156937782]
  テキスト生成のための新しいドメイン固有生成事前学習法(DS-GPT)を提案する。 電子商取引モバイルディスプレイにおける製品タイトルと要約問題に応用する。
  論文  参考訳（メタデータ） (2021-12-15T19:02:49Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization [16.048329028104643]
  Query Focused Multi-Document Summarization (QF-MDS)タスクでは、ドキュメントのセットとクエリが与えられ、そこでこれらのドキュメントから要約を生成する。 このタスクの大きな課題のひとつは、ラベル付きトレーニングデータセットの可用性の欠如である。 本稿では,遠隔指導による弱教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T02:02:55Z)
• Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
  このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
  論文  参考訳（メタデータ） (2020-10-13T15:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。