論文の概要: Prompt Compression and Contrastive Conditioning for Controllability and Toxicity Reduction in Language Models

• arxiv url: http://arxiv.org/abs/2210.03162v1
• Date: Thu, 6 Oct 2022 18:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 12:32:16.936883
• Title: Prompt Compression and Contrastive Conditioning for Controllability and Toxicity Reduction in Language Models
• Title（参考訳）: 言語モデルにおける制御性と毒性低減のためのプロンプト圧縮とコントラスト条件
• Authors: David Wingate, Mohammad Shoeybi, Taylor Sorensen
• Abstract要約: 言語モデルに使用するプロンプトを圧縮するアイデアについて検討する。 圧縮されたプロンプトは、元のプロンプトに関する実質的な量の情報を保持することができることを示す。 また、圧縮されたプロンプトは概ね構成的であり、生成したテキストの独立した側面を制御するために使用できることを示す。
• 参考スコア（独自算出の注目度）: 9.123636698143283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore the idea of compressing the prompts used to condition language models, and show that compressed prompts can retain a substantive amount of information about the original prompt. For severely compressed prompts, while fine-grained information is lost, abstract information and general sentiments can be retained with surprisingly few parameters, which can be useful in the context of decode-time algorithms for controllability and toxicity reduction. We explore contrastive conditioning to steer language model generation towards desirable text and away from undesirable text, and find that some complex prompts can be effectively compressed into a single token to guide generation. We also show that compressed prompts are largely compositional, and can be constructed such that they can be used to control independent aspects of generated text.
• Abstract（参考訳）: 言語モデルの条件付けに使用されるプロンプトを圧縮するというアイデアを探求し、圧縮プロンプトが元のプロンプトに関する情報の実質的な量を保持することができることを示す。 高度に圧縮されたプロンプトでは、きめ細かい情報が失われる一方で、抽象的な情報や一般的な感情は驚くほど少ないパラメータで保持することができる。 本研究では,言語モデル生成を好ましくないテキストから遠ざけるためのコントラスト条件について検討し,複雑なプロンプトを1つのトークンに効果的に圧縮して生成を誘導できることを見出した。 また、圧縮されたプロンプトは概ね構成的であり、生成したテキストの独立した側面を制御するために使用できることを示す。

関連論文リスト

• XPrompt:Explaining Large Language Model's Generation via Joint Prompt Attribution [26.639271355209104]
  LLM(Large Language Models)は複雑なテキスト生成タスクにおいて顕著なパフォーマンスを示す。 生成したコンテンツに対する入力プロンプトの寄与は、まだ人間には明らかでない。 本稿では,共同プロンプト帰属型XPromptに基づく実例説明フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-30T18:16:41Z)
• Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation [16.49758711633611]
  大規模言語モデル(LLM)は、テキストベースのプロンプトに応答して、例外的な言語生成能力を示す。 本研究では,制御言語生成におけるPrompt Tuningの利用について検討する。 本稿では, 言語モデルによる有害, 有害, 偏見のあるテキストを緩和する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-08T01:54:28Z)
• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Effective Prompt Extraction from Language Models [70.00099540536382]
  本稿では,迅速な抽出攻撃の有効性を評価するための枠組みを提案する。 3つの異なるプロンプトと11の基盤となる大規模言語モデルによる実験では、単純なテキストベースの攻撃は、実際に高い確率でプロンプトを明らかにすることができる。 本フレームワークは,抽出したプロンプトがモデル幻覚ではなく実際の秘密プロンプトであるか否かを高精度に判定する。
  論文  参考訳（メタデータ） (2023-07-13T16:15:08Z)
• InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding [51.48361798508375]
  我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。 本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-06-08T04:31:48Z)
• Click: Controllable Text Generation with Sequence Likelihood Contrastive Learning [69.35360098882606]
  制御可能なテキスト生成のためのClickを導入し、モデルアーキテクチャを変更する必要はない。 シークエンス確率は対照的な損失を伴い、負のサンプルの生成確率を根本的に低下させる。 また、モデル世代から対照的なサンプルを構築するための、新しいランキングベースの戦略も採用している。
  論文  参考訳（メタデータ） (2023-06-06T01:56:44Z)
• Hard Prompts Made Easy: Gradient-Based Discrete Optimization for Prompt Tuning and Discovery [55.905769757007185]
  本稿では,効率的な勾配に基づく最適化により,ハードテキストのプロンプトを頑健に最適化する手法について述べる。 本手法は,テキスト・ツー・イメージ・アプリケーションとテキスト・ツー・テキストアプリケーションの両方に対して,ハードテキスト・ベースのプロンプトを自動生成する。 テキストからテキストへの設定では、分類のためのLMのチューニングに有効なハードプロンプトを自動的に発見できることが示される。
  論文  参考訳（メタデータ） (2023-02-07T18:40:18Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。