論文の概要: PromptSum: Parameter-Efficient Controllable Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2308.03117v1
• Date: Sun, 6 Aug 2023 13:54:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 16:41:36.404297
• Title: PromptSum: Parameter-Efficient Controllable Abstractive Summarization
• Title（参考訳）: promptsum:パラメータ効率のよい制御可能な抽象要約
• Authors: Mathieu Ravaut, Hailin Chen, Ruochen Zhao, Chengwei Qin, Shafiq Joty, Nancy Chen
• Abstract要約: 本稿では,PTとマルチタスク目的と個別エンティティプロンプトを組み合わせた抽象的な要約手法であるPromptSumを紹介する。 我々のモデル競合ROUGEは、一般的な抽象的な要約ベンチマークと、エンティティによる強い制御性を組み合わせた結果である。
• 参考スコア（独自算出の注目度）: 4.145362426026615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt tuning (PT), a parameter-efficient technique that only tunes the additional prompt embeddings while keeping the backbone pre-trained language model (PLM) frozen, has shown promising results in language understanding tasks, especially in low-resource scenarios. However, effective prompt design methods suitable for generation tasks such as summarization are still lacking. At the same time, summarization guided through instructions (discrete prompts) can achieve a desirable double objective of high quality and controllability in summary generation. Towards a goal of strong summarization performance under the triple conditions of parameter-efficiency, data-efficiency, and controllability, we introduce PromptSum, a method combining PT with a multi-task objective and discrete entity prompts for abstractive summarization. Our model achieves competitive ROUGE results on popular abstractive summarization benchmarks coupled with a strong level of controllability through entities, all while only tuning several orders of magnitude less parameters.
• Abstract（参考訳）: バックボーン事前学習言語モデル(PLM)の凍結を保ちながら追加のプロンプト埋め込みをチューニングするパラメータ効率のよい手法であるPrompt tuning (PT)は、特に低リソースシナリオにおいて、言語理解タスクにおいて有望な結果を示している。 しかし,要約などの生成タスクに適した効果的なプロンプト設計手法はいまだに欠落している。 同時に、指示(離散的なプロンプト)による要約は、要約生成における品質と制御性という望ましい2つの目的を達成することができる。 パラメータ効率,データ効率,可制御性の3つの条件下での強い要約性能の目標に向けて,PTとマルチタスクの目的と離散エンティティを組み合わせて抽象的な要約を行うPromptSumを導入する。 このモデルでは,一般的な抽象要約ベンチマークとエンティティを通じた強力な制御可能性を組み合わせた競合ルージュ結果が得られるが,いずれも数桁未満のパラメータをチューニングするのみである。

関連論文リスト

• Guide-to-Explain for Controllable Summarization [11.904090197598505]
  大規模言語モデル (LLMs) による制御可能な要約は未定である。 制御可能な要約のためのガイド・ツー・説明フレームワーク(GTE)を提案する。 我々のフレームワークは、初期ドラフトで間違った属性を識別し、前回の出力でエラーを説明するのに役立てます。
  論文  参考訳（メタデータ） (2024-11-19T12:36:02Z)
• Prompting and Fine-Tuning of Small LLMs for Length-Controllable Telephone Call Summarization [33.67670065326008]
  本稿では,大規模言語モデル(LLM)を用いた電話要約システムの迅速な開発について検討する。 Llama-2-7Bの微調整による要約モデルでは,実測精度,完全性,簡潔性の観点から,GPT-4と同等に動作することがわかった。
  論文  参考訳（メタデータ） (2024-10-24T10:32:10Z)
• Enabling Natural Zero-Shot Prompting on Encoder Models via Statement-Tuning [55.265138447400744]
  ステートメントチューニングは、有限文の集合として識別タスクをモデル化し、エンコーダモデルを訓練し、潜在的なステートメントを識別してラベルを決定するテクニックである。 その結果, ステートメント・チューニングは, パラメータが著しく少ない最先端のLCMと比較して, 競争性能が向上することを示した。 この研究は、いくつかの設計選択が少ショットとゼロショットの一般化に与える影響を調査し、ステートメントチューニングが控えめなトレーニングデータで高いパフォーマンスを達成できることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T14:05:03Z)
• Towards Abstractive Timeline Summarisation using Preference-based Reinforcement Learning [3.6640004265358477]
  本稿では,複数のニュースソースから報告されるイベントの時系列を要約する新しいパイプラインを提案する。 抽象的な要約のためのトランスフォーマーに基づくモデルは、長い文書のコヒーレントで簡潔な要約を生成する。 抽出要約は情報源に忠実であるが、読みにくく、余分な情報や不要な情報を含んでいる可能性がある。
  論文  参考訳（メタデータ） (2022-11-14T18:24:13Z)
• MACSum: Controllable Summarization with Mixed Attributes [56.685735509260276]
  MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。 混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-09T17:17:37Z)
• COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization [84.70895015194188]
  コントラスト学習に基づく一段階要約フレームワークであるCOLOを提案する。 COLOはCNN/DailyMailベンチマークの1段階システムの抽出と抽象化結果を44.58と46.33ROUGE-1スコアに引き上げた。
  論文  参考訳（メタデータ） (2022-09-29T06:11:21Z)
• Controllable Summarization with Constrained Markov Decision Process [50.04321779376415]
  本研究では,ユーザが特定の属性を制御できる可制御テキスト要約について検討する。 制約付きマルコフ決定プロセス(CMDP)に基づく新しいトレーニングフレームワークを提案する。 我々のフレームワークは、長さ、被覆された実体、抽象性など、要約の重要な属性を制御するために応用できる。
  論文  参考訳（メタデータ） (2021-08-07T09:12:53Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。