論文の概要: Learning to Transfer Prompts for Text Generation

• arxiv url: http://arxiv.org/abs/2205.01543v1
• Date: Tue, 3 May 2022 14:53:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 14:02:19.987812
• Title: Learning to Transfer Prompts for Text Generation
• Title（参考訳）: テキスト生成のためのプロンプト転送の学習
• Authors: Junyi Li, Tianyi Tang, Jian-Yun Nie, Ji-Rong Wen and Wayne Xin Zhao
• Abstract要約: 転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。 まず、PTGは、様々なソース生成タスクの一連のソースプロンプトを学習し、ターゲット生成タスクを実行するためのターゲットプロンプトとしてこれらのプロンプトを転送する。 広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 97.64625999380425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models (PLMs) have made remarkable progress in text generation tasks via fine-tuning. While, it is challenging to fine-tune PLMs in a data-scarce situation. Therefore, it is non-trivial to develop a general and lightweight model that can adapt to various text generation tasks based on PLMs. To fulfill this purpose, the recent prompt-based learning offers a potential solution. In this paper, we improve this technique and propose a novel prompt-based method (PTG) for text generation in a transferable setting. First, PTG learns a set of source prompts for various source generation tasks and then transfers these prompts as target prompts to perform target generation tasks. To consider both task- and instance-level information, we design an adaptive attention mechanism to derive the target prompts. For each data instance, PTG learns a specific target prompt by attending to highly relevant source prompts. In extensive experiments, PTG yields competitive or better results than fine-tuning methods. We release our source prompts as an open resource, where users can add or reuse them to improve new text generation tasks for future research. Code and data can be available at https://github.com/RUCAIBox/Transfer-Prompts-for-Text-Generation.
• Abstract（参考訳）: 事前訓練言語モデル(PLM)は微調整によってテキスト生成タスクを著しく進歩させた。 しかし,plmをデータ収集時に微調整することは困難である。 したがって、PLMに基づく様々なテキスト生成タスクに適応できる汎用的で軽量なモデルを開発するのは簡単ではない。 この目的を達成するために、最近のプロンプトベースの学習は潜在的な解決策を提供する。 本稿では,この手法を改良し,転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。 まず、ptgは様々なソース生成タスクのソースプロンプトのセットを学習し、ターゲットがターゲット生成タスクを実行するプロンプトとしてこれらのプロンプトを転送する。 タスクレベルとインスタンスレベルの情報の両方を考慮するため、ターゲットプロンプトを導出するための適応的注意機構を設計する。 各データインスタンスに対して、PTGは、非常に関連性の高いソースプロンプトに参加することで、特定のターゲットプロンプトを学習する。 広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。 ソースプロンプトをオープンリソースとしてリリースし、ユーザはそれを追加または再利用して、将来の研究のために新しいテキスト生成タスクを改善することができます。 コードとデータはhttps://github.com/RUCAIBox/Transfer-Prompts-for-Text-Generationで入手できる。

関連論文リスト

• Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
  メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。 別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。 そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:59:49Z)
• Text-driven Prompt Generation for Vision-Language Models in Federated Learning [24.005620820818756]
  FedTPG(Federated Text-Driven Prompt Generation)を提案する。 FedTPGは、複数のリモートクライアントにまたがる統一的なプロンプト生成ネットワークをスケーラブルに学習する。 9つの多様な画像分類データセットを総合的に評価した結果,既存のフェデレーション・プロンプト・ラーニング・手法よりも優れた手法であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T19:57:24Z)
• Deliberate then Generate: Enhanced Prompting Framework for Text Generation [70.10319005141888]
  Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。 我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。 本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:23:04Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• Context-Tuning: Learning Contextualized Prompts for Natural Language Generation [52.835877179365525]
  自然言語生成のための微調整PLMに対して,Context-Tuningと呼ばれる新しい連続的プロンプト手法を提案する。 まず、入力テキストに基づいてプロンプトを導出し、PLMから有用な知識を抽出して生成する。 第二に、生成したテキストの入力に対する関連性をさらに高めるために、連続的な逆プロンプトを用いて自然言語生成のプロセスを洗練する。
  論文  参考訳（メタデータ） (2022-01-21T12:35:28Z)
• A Survey of Pretrained Language Models Based Text Generation [97.64625999380425]
  テキスト生成は、入力データから人間の言語で可読で読みやすいテキストを生成することを目的としている。 ディープラーニングは、ニューラルジェネレーションモデル、特に事前学習言語モデル(PLM)のパラダイムにより、この分野を大幅に進歩させた。 PLM上でのテキスト生成は、学術と産業の両方において有望な方向と見なされている。
  論文  参考訳（メタデータ） (2022-01-14T01:44:58Z)
• Control Prefixes for Text Generation [17.682443394199375]
  本稿では,各プロンプトに条件付き入力依存情報を組み込む動的手法である制御プリフィックスを提案する。 我々は、WebNLGを含むいくつかのデータからテキストへのデータセットに対して、最先端の結果を提示する。
  論文  参考訳（メタデータ） (2021-10-15T19:32:17Z)
• Zero-shot Learning by Generating Task-specific Adapters [38.452434222367515]
  タスク記述からタスク固有のアダプタを生成するためのハイパーネットワークをトレーニングすることで、ゼロショット転送性を改善するフレームワークであるHypterを紹介する。 この定式化はタスクレベルでの学習を可能にし、軽量アダプタを使用することでパラメータの数を大幅に削減する。
  論文  参考訳（メタデータ） (2021-01-02T10:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。