論文の概要: Prompt-Based Length Controlled Generation with Multiple Control Types

• arxiv url: http://arxiv.org/abs/2406.10278v1
• Date: Wed, 12 Jun 2024 01:49:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 01:21:32.619257
• Title: Prompt-Based Length Controlled Generation with Multiple Control Types
• Title（参考訳）: 複数制御型プロンプト長制御生成
• Authors: Renlong Jie, Xiaojun Meng, Lifeng Shang, Xin Jiang, Qun Liu,
• Abstract要約: そこで本稿では,異なる制御型で高精度な長さ制御生成を実現するためのプロンプトベース手法を提案する。 特に,ルールベース報酬モデルによって与えられる報酬信号を用いた強化学習(RL)とサンプルフィルタリングを採用する。 実験の結果,提案手法はCNNDMやNYTなどの一般的な要約データセットにおいて,プロンプトベース長制御の精度を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 45.202705040391734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have attracted great attention given their strong performance on a wide range of NLP tasks. In practice, users often expect generated texts to fall within a specific length range, making length controlled generation an important topic, especially for GPT-style models. Existing length control methods mostly focus on a simple control type of "equal to" a target length. Different from them, we propose a prompt-based method to achieve length controlled generation under different control types with high accuracy. In particular, we adopt reinforcement learning (RL) and sample filtering with the reward signal given by rule-based reward models, which enhances the length control ability of models by rewarding outputs that follow certain control instructions. In addition, we introduce a standard prompt extractor to parse arbitrary users' input into standard control instructions. Experiments show that our method significantly improves the accuracy of prompt-based length control on popular summarization datasets like CNNDM and NYT under multiple control types. Moreover, both the standard prompt extractor and RL-tuned model show strong generalization to unseen control prompt templates.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、幅広いNLPタスクにおいて強い性能を発揮したことから、大きな注目を集めている。 実際には、ユーザーは生成したテキストが特定の長さ範囲に収まることをしばしば期待しており、特にGPTスタイルのモデルにおいて、長さ制御された生成が重要なトピックとなっている。 既存の長さ制御法は主に、ターゲット長の"equal to"の単純な制御タイプに焦点を当てている。 そこで本研究では,異なる制御型で高精度な長さ制御生成を実現するためのプロンプトベース手法を提案する。 特に,ルールベース報酬モデルによって与えられる報酬信号を用いた強化学習(RL)とサンプルフィルタリングを採用し,特定の制御命令に従う出力を付与することで,モデルの長さ制御能力を向上する。 さらに、任意のユーザの入力を標準制御命令に解析するための標準プロンプト抽出器を導入する。 実験により,CNNDMやNYTなどの一般的な要約データセットにおいて,複数の制御型において,プロンプトベース長制御の精度を大幅に向上することが示された。 さらに、標準プロンプト抽出器とRL調整モデルの両方が、目に見えないプロンプトテンプレートに対して強力な一般化を示している。

関連論文リスト

• Self-Control of LLM Behaviors by Compressing Suffix Gradient into Prefix Controller [47.39322226776273]
  Self-Controlは、人間の明示的なアノテーションを使わずに、大規模言語モデル(LLM)の振る舞いを制御する新しい方法である。 自己制御は、モデルの隠された状態に関するモデルの自己判断の勾配を計算する。 実験では、感情変調、無害性の確保、複雑な推論の強化など、複数の領域にまたがる自己制御の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-04T19:05:10Z)
• LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes [46.74968005604948]
  本稿では、制御されたテキスト生成のためのきめ細かい制御を備えた軽量なアプローチであるLIFIを提案する。 我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスクでLIFIを評価する。
  論文  参考訳（メタデータ） (2024-02-10T11:53:48Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)
• Latent Prompt Tuning for Text Summarization [95.85520030785139]
  本稿では,制御モードと制御不能モードの両方に適用可能な単一モデルであるLotus (Latent Prompt Tuning for Summarization)を提案する。 トレーニング中、ロータスは対照的な学習目標を用いて、ゴールドコントロール信号を持つプロンプトから潜在的なプロンプト表現を学習する。 実験では、4つの異なる要約データセットにわたる強い(制御不能な)要約モデルにおいて、制御不能なモードのロータスが一貫して改善されることを示した。
  論文  参考訳（メタデータ） (2022-11-03T14:18:48Z)
• Posterior Control of Blackbox Generation [126.33511630879713]
  我々は、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルの拡張を検討する。 この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
  論文  参考訳（メタデータ） (2020-05-10T03:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。