論文の概要: Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation

• arxiv url: http://arxiv.org/abs/2404.05143v1
• Date: Mon, 8 Apr 2024 01:54:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 15:43:25.325134
• Title: Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation
• Title（参考訳）: Plug and Play with Prompts: Prompt Tuning Approach for Controling Text Generation
• Authors: Rohan Deepak Ajwani, Zining Zhu, Jonathan Rose, Frank Rudzicz,
• Abstract要約: 大規模言語モデル(LLM)は、テキストベースのプロンプトに応答して、例外的な言語生成能力を示す。 本研究では,制御言語生成におけるPrompt Tuningの利用について検討する。 本稿では, 言語モデルによる有害, 有害, 偏見のあるテキストを緩和する手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 16.49758711633611
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based Large Language Models (LLMs) have shown exceptional language generation capabilities in response to text-based prompts. However, controlling the direction of generation via textual prompts has been challenging, especially with smaller models. In this work, we explore the use of Prompt Tuning to achieve controlled language generation. Generated text is steered using prompt embeddings, which are trained using a small language model, used as a discriminator. Moreover, we demonstrate that these prompt embeddings can be trained with a very small dataset, with as low as a few hundred training examples. Our method thus offers a data and parameter efficient solution towards controlling language model outputs. We carry out extensive evaluation on four datasets: SST-5 and Yelp (sentiment analysis), GYAFC (formality) and JIGSAW (toxic language). Finally, we demonstrate the efficacy of our method towards mitigating harmful, toxic, and biased text generated by language models.
• Abstract（参考訳）: Transformer-based Large Language Models (LLM) は、テキストベースのプロンプトに応答して、例外的な言語生成能力を示す。 しかし、特に小さなモデルでは、テキストプロンプトによる生成方向の制御は困難である。 本研究では,制御言語生成におけるPrompt Tuningの利用について検討する。 生成したテキストは、小さな言語モデルを用いて訓練されたインプット埋め込みを使用して、識別器として使用される。 さらに、これらの迅速な埋め込みは、非常に小さなデータセットでトレーニングでき、数百のトレーニング例も少ないことを実証する。 そこで本手法は,言語モデル出力を制御するためのデータとパラメータの効率的なソリューションを提供する。 SST-5とYelp(センチメント分析)、GYAFC(フォーマル性)、JIGSAW(有害言語)の4つのデータセットについて広範囲に評価を行った。 最後に, 言語モデルによる有害, 有害, 偏見を緩和する手法の有効性を実証する。

関連論文リスト

• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System [73.52878118434147]
  テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。 どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-09-09T18:19:47Z)
• Deliberate then Generate: Enhanced Prompting Framework for Text Generation [70.10319005141888]
  Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。 我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。 本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:23:04Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• Learning to Transfer Prompts for Text Generation [97.64625999380425]
  転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。 まず、PTGは、様々なソース生成タスクの一連のソースプロンプトを学習し、ターゲット生成タスクを実行するためのターゲットプロンプトとしてこれらのプロンプトを転送する。 広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-05-03T14:53:48Z)
• Control Prefixes for Text Generation [17.682443394199375]
  本稿では,各プロンプトに条件付き入力依存情報を組み込む動的手法である制御プリフィックスを提案する。 我々は、WebNLGを含むいくつかのデータからテキストへのデータセットに対して、最先端の結果を提示する。
  論文  参考訳（メタデータ） (2021-10-15T19:32:17Z)
• GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation [9.501648136713694]
  GPT-3のような大規模言語モデルは優れた数ショット学習者であり、自然なテキストプロンプトで制御できる。 本稿では,大規模言語モデルを用いて現実的なテキストサンプルを生成する新しいデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T11:39:33Z)
• Controllable Generation from Pre-trained Language Models via Inverse Prompting [47.23315683944257]
  テキスト生成をよりよく制御する革新的な手法である逆プロンプトを提案する。 逆プロンプトは生成されたテキストを使用してビーム探索中に逆プロンプトを予測する。 その結果,提案手法はベースラインを大きく上回ることがわかった。
  論文  参考訳（メタデータ） (2021-03-19T08:36:52Z)
• Directed Beam Search: Plug-and-Play Lexically Constrained Language Generation [6.2211479935811775]
  最先端の言語モデルは、管理可能な時間でスクラッチからトレーニングするには大きすぎる。 語彙制約付き言語生成のためのプラグイン・アンド・プレイ方式であるDirected Beam Search (DBS)を提案する。
  論文  参考訳（メタデータ） (2020-12-31T03:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。