論文の概要: Emotion-Conditioned Text Generation through Automatic Prompt Optimization

• arxiv url: http://arxiv.org/abs/2308.04857v1
• Date: Wed, 9 Aug 2023 10:42:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 14:14:20.057115
• Title: Emotion-Conditioned Text Generation through Automatic Prompt Optimization
• Title（参考訳）: 自動プロンプト最適化による感情条件付きテキスト生成
• Authors: Yarik Menchaca Resendiz and Roman Klinger
• Abstract要約: そこで本研究では,感情条件付きテキスト生成のための命令ファインダーモデルを用いた最初の自動プロンプト最適化手法を提案する。 本手法では,トークンの追加,削除,置換によってプロンプトを変更する反復最適化手法を用いる。 本研究では,感情条件付きテキスト生成手法をイベントレポートに焦点をあてて評価し,手動で設計したプロンプトと比較する。
• 参考スコア（独自算出の注目度）: 12.447379545167642
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conditional natural language generation methods often require either expensive fine-tuning or training a large language model from scratch. Both are unlikely to lead to good results without a substantial amount of data and computational resources. Prompt learning without changing the parameters of a large language model presents a promising alternative. It is a cost-effective approach, while still achieving competitive results. While this procedure is now established for zero- and few-shot text classification and structured prediction, it has received limited attention in conditional text generation. We present the first automatic prompt optimization approach for emotion-conditioned text generation with instruction-fine-tuned models. Our method uses an iterative optimization procedure that changes the prompt by adding, removing, or replacing tokens. As objective function, we only require a text classifier that measures the realization of the conditional variable in the generated text. We evaluate the method on emotion-conditioned text generation with a focus on event reports and compare it to manually designed prompts that also act as the seed for the optimization procedure. The optimized prompts achieve 0.75 macro-average F1 to fulfill the emotion condition in contrast to manually designed seed prompts with only 0.22 macro-average F1.
• Abstract（参考訳）: 条件付き自然言語生成法は、しばしば高価な微調整を必要とするか、大きな言語モデルをゼロから訓練する必要がある。 どちらも、大量のデータと計算資源がなければ、良い結果につながる可能性は低い。 大きな言語モデルのパラメータを変更することなく、素早い学習は、有望な代替手段となる。 競争力のある結果を得る一方で、コスト効率のよいアプローチである。 この手順は現在ゼロショットテキストの分類と構造化予測のために確立されているが、条件付きテキスト生成ではほとんど注目されていない。 そこで本研究では,感情条件付きテキスト生成のための命令ファインダーモデルを用いた最初の自動プロンプト最適化手法を提案する。 提案手法では,トークンの追加,削除,置換によってプロンプトを変更する反復最適化手順を用いる。 目的関数として、生成されたテキストの条件変数の実現を測定するテキスト分類子のみを必要とする。 本手法は,イベントレポートに着目して感情条件付きテキスト生成の手法を評価し,最適化手順のシードとして機能する手動設計のプロンプトと比較する。 最適化されたプロンプトは0.75マクロ平均F1を達成して感情条件を満たす。

関連論文リスト

• Enhancing Text Generation in Joint NLG/NLU Learning Through Curriculum Learning, Semi-Supervised Training, and Advanced Optimization Techniques [0.0]
  本研究では,NLG(Natural Language Generation)とNLU(Natural Language Understanding)の併用によってテキスト生成を改善する手法を開発した。 データは、クリーニング、トークン化、ストーミング、ストップワード削除など、注釈付きデータセットの収集と前処理によって作成される。 トランスフォーマーベースのエンコーダとデコーダ、長距離依存関係のキャプチャ、ソースターゲットシーケンスモデリングの改善。 政策勾配手法による強化学習、半教師付きトレーニング、注意機構の改善、および異なる近似を用いて、モデルを微調整し、複雑な言語タスクを効果的に処理する。
  論文  参考訳（メタデータ） (2024-10-17T12:43:49Z)
• Hard Prompts Made Easy: Gradient-Based Discrete Optimization for Prompt Tuning and Discovery [55.905769757007185]
  本稿では,効率的な勾配に基づく最適化により,ハードテキストのプロンプトを頑健に最適化する手法について述べる。 本手法は,テキスト・ツー・イメージ・アプリケーションとテキスト・ツー・テキストアプリケーションの両方に対して,ハードテキスト・ベースのプロンプトを自動生成する。 テキストからテキストへの設定では、分類のためのLMのチューニングに有効なハードプロンプトを自動的に発見できることが示される。
  論文  参考訳（メタデータ） (2023-02-07T18:40:18Z)
• Prompt-Based Editing for Text Style Transfer [25.863546922455498]
  テキストスタイル転送のためのプロンプトベースの編集手法を提案する。 我々は,プロンプトベースの生成問題を,学習自由なプロセスである分類問題に変換する。 我々のアプローチは、20倍のパラメータを持つ最先端のシステムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-01-27T21:31:14Z)
• Being Comes from Not-being: Open-vocabulary Text-to-Motion Generation with Wordless Training [178.09150600453205]
  本稿では、ゼロショット学習方式でオフラインのオープン語彙テキスト・トゥ・モーション生成について検討する。 NLPの即時学習にインスパイアされ、マスクされた動きから全動作を再構築する動き生成装置を事前訓練する。 本手法では,入力テキストをマスクした動作に再構成することで,動作生成者の動作を再構築する。
  論文  参考訳（メタデータ） (2022-10-28T06:20:55Z)
• Text-Free Learning of a Natural Language Interface for Pretrained Face Generators [39.60881623602501]
  我々は,テキスト誘導型人顔合成に事前学習されたGANを適応させる自然言語インタフェースであるFast text2StyleGANを提案する。 我々のモデルは、新しいテキストプロンプトに遭遇する際に、GANやCLIPの再学習や微調整を必要としない。
  論文  参考訳（メタデータ） (2022-09-08T17:56:50Z)
• Discourse-Aware Prompt Design for Text Generation [13.835916386769474]
  そこで本研究では, 簡易かつ効率的な手法により, プロンプトベースの条件付きテキスト生成を改善することができることを示す。 まず、人文テキストの高レベルな談話構造を、プレフィックスパラメータのテクスチャ階層的ブロッキングでモデル化できることを示す。 第2に,ネットワークの各レイヤにおけるプレフィックスパラメータのテキスト分割間隔を導入し,ソフトマックス関数のスパース変換を学習することで,スパースプレフィックスチューニングを提案する。
  論文  参考訳（メタデータ） (2021-12-10T18:15:44Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)
• Conditioned Text Generation with Transfer for Closed-Domain Dialogue Systems [65.48663492703557]
  条件付き変分オートエンコーダを用いて,意図特化文の生成を最適に学習し,制御する方法を示す。 クエリ転送と呼ばれる新しいプロトコルを導入し、大規模で遅延のないデータセットを活用できるようにします。
  論文  参考訳（メタデータ） (2020-11-03T14:06:10Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。