論文の概要: PSP: Pre-trained Soft Prompts for Few-Shot Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2204.04413v1
• Date: Sat, 9 Apr 2022 07:40:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 07:17:30.629057
• Title: PSP: Pre-trained Soft Prompts for Few-Shot Abstractive Summarization
• Title（参考訳）: PSP:Few-Shot Abstractive Summarizationのための事前訓練ソフトプロンプト
• Authors: Xiaochen Liu, Yu Bai, Jiawei Li, Yinan Hu and Yang Gao
• Abstract要約: 我々は,数ショットの抽象的な要約をサポートするために,新しいソフトプロンプトアーキテクチャを開発した。 文書レベルの情報をキャプチャするために、テキストに新しいインナープロンプトを配置する。 パラメータの0.1%しか持たない本手法は、全てのモデルパラメータがチューニングされるフルモデルチューニングよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 18.698740243997953
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Few-shot abstractive summarization has become a challenging task in natural language generation. To support it, we designed a novel soft prompts architecture coupled with a prompt pre-training plus fine-tuning paradigm that is effective and tunes only extremely light parameters. The soft prompts include continuous input embeddings across an encoder and a decoder to fit the structure of the generation models. Importantly, a novel inner-prompt placed in the text is introduced to capture document-level information. The aim is to devote attention to understanding the document that better prompts the model to generate document-related content. The first step in the summarization procedure is to conduct prompt pre-training with self-supervised pseudo-data. This teaches the model basic summarizing capabilities. The model is then fine-tuned with few-shot examples. Experimental results on the CNN/DailyMail and XSum datasets show that our method, with only 0.1% of the parameters, outperforms full-model tuning where all model parameters are tuned. It also surpasses Prompt Tuning by a large margin and delivers competitive results against Prefix-Tuning with 3% of the parameters.
• Abstract（参考訳）: 少数の抽象要約は自然言語生成において難しい課題となっている。 これを支援するために、我々は、非常に軽量なパラメータのみをチューニングするプロンプト事前学習と微調整パラダイムを組み合わせた、新しいソフトプロンプトアーキテクチャを設計した。 ソフトプロンプトには、エンコーダ全体にわたる連続入力埋め込みと、生成モデルの構造に適合するデコーダが含まれる。 文書レベルの情報を取り込むために,テキスト内に新しいインナープロンプトを導入することが重要である。 目的は、モデルにドキュメント関連コンテンツを生成するよう促す文書を理解することに注力することである。 要約手続きの最初のステップは、自己教師付き擬似データで即興事前トレーニングを行うことである。 これはモデルの基本要約能力を教えます。 モデルは、わずかな例で微調整される。 cnn/dailymailとxsumデータセットの実験結果は、パラメータのわずか0.1%で、すべてのモデルパラメータがチューニングされるフルモデルのチューニングよりも優れていることを示している。 また、Prompt Tuningを大きなマージンで上回り、パラメータの3%でPrefix-Tuningと競合する結果をもたらす。

関連論文リスト

• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Prompt Tuning for Generative Multimodal Pretrained Models [75.44457974275154]
  我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。 実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。 微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
  論文  参考訳（メタデータ） (2022-08-04T08:56:38Z)
• The Power of Scale for Parameter-Efficient Prompt Tuning [4.481348281462904]
  プロンプトチューニング」は、特定の下流タスクを実行するために、凍結した言語モデルに「ソフトプロンプト」を学習するための単純なメカニズムである。 我々のエンドツーエンドの学習アプローチは、GPT-3の「ファウショット」学習を大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-04-18T03:19:26Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。