論文の概要: Language Model Prompt Selection via Simulation Optimization
- arxiv url: http://arxiv.org/abs/2404.08164v2
- Date: Mon, 20 May 2024 02:34:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 22:41:01.960529
- Title: Language Model Prompt Selection via Simulation Optimization
- Title（参考訳）: シミュレーション最適化による言語モデルプロンプト選択
- Authors: Haoting Zhang, Jinghai He, Rhonda Righter, Zeyu Zheng,
- Abstract要約: プロンプト(英: prompt)は、コンテンツ生成において生成言語モデルのガイドとして機能する、ユーザが提供する命令または記述である。
我々は,この選択をシミュレーション最適化によって促進し,選択したプロンプトに対する事前定義されたスコアを最大化することを目的としている。
- 参考スコア（独自算出の注目度）: 11.969803989167351
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advancement in generative language models, the selection of prompts has gained significant attention in recent years. A prompt is an instruction or description provided by the user, serving as a guide for the generative language model in content generation. Despite existing methods for prompt selection that are based on human labor, we consider facilitating this selection through simulation optimization, aiming to maximize a pre-defined score for the selected prompt. Specifically, we propose a two-stage framework. In the first stage, we determine a feasible set of prompts in sufficient numbers, where each prompt is represented by a moderate-dimensional vector. In the subsequent stage for evaluation and selection, we construct a surrogate model of the score regarding the moderate-dimensional vectors that represent the prompts. We propose sequentially selecting the prompt for evaluation based on this constructed surrogate model. We prove the consistency of the sequential evaluation procedure in our framework. We also conduct numerical experiments to demonstrate the efficacy of our proposed framework, providing practical instructions for implementation.
- Abstract（参考訳）: 生成言語モデルの発展に伴い,近年,プロンプトの選択が注目されている。
プロンプト(英: prompt)は、コンテンツ生成において生成言語モデルのガイドとして機能する、ユーザが提供する命令または記述である。
人間の労働力に基づくプロンプト選択手法は存在するが、シミュレーション最適化により、選択したプロンプトに対する事前定義されたスコアを最大化することを目的として、この選択を容易にすることを検討する。
具体的には,2段階のフレームワークを提案する。
第一段階では、各プロンプトが適度な次元ベクトルで表されるような十分数で可能なプロンプトの集合を決定する。
評価と選択の次の段階において、プロンプトを表す中等次元ベクトルに関するスコアの代理モデルを構築する。
この構築された代理モデルに基づいて、逐次評価のプロンプトを選択することを提案する。
本フレームワークにおける逐次評価手順の整合性を証明する。
また,提案手法の有効性を示す数値実験を行い,実装の実践的指導を行う。
関連論文リスト
- Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。
本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。
2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文 参考訳（メタデータ） (2024-09-04T14:36:20Z) - Evaluating Large Language Models as Generative User Simulators for Conversational Recommendation [20.171574438536673]
本稿では,言語モデルが対話的推薦において人間の行動を正確にエミュレートできる程度を測定するための新しいプロトコルを提案する。
これらのタスクは、人間の行動から言語モデルの逸脱を効果的に明らかにし、モデル選択と促進戦略による逸脱を減らす方法についての洞察を提供する。
論文 参考訳（メタデータ） (2024-03-13T18:16:21Z) - Prompt Mining for Language-based Human Mobility Forecasting [10.325794804095889]
本稿では,言語に基づくモビリティ予測における迅速なマイニングのための新しいフレームワークを提案する。
本発明のフレームワークは、プロンプトの情報エントロピーに基づく即時生成段階と、思考の連鎖などのメカニズムを統合する即時改善段階とを含む。
論文 参考訳（メタデータ） (2024-03-06T08:43:30Z) - AutoHint: Automatic Prompt Optimization with Hint Generation [11.737818328656735]
本稿では,大規模言語モデル(LLM)の自動プロンプトエンジニアリングと最適化のための新しいフレームワークであるAutoHintを提案する。
本稿では,インテキスト学習とゼロショット学習の両方の利点を継承する枠組みを提案する。
エンリッチメントをヒントと呼び、ラベル付きデータからヒントを自動的に生成するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-13T00:49:27Z) - MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text
Classification [65.51149771074944]
MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。
広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。
結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-06-15T06:51:35Z) - Prompt Algebra for Task Composition [131.97623832435812]
素早いチューニングを伴うビジュアル言語モデルを基本分類器として検討する。
合成分類器の性能向上のための制約付きプロンプトチューニングを提案する。
UTZapposでは、最高のベースモデルに対する分類精度を平均8.45%向上させる。
論文 参考訳（メタデータ） (2023-06-01T03:20:54Z) - Recommender Systems with Generative Retrieval [58.454606442670034]
本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。
そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。
提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2023-05-08T21:48:17Z) - Boosted Prompt Ensembles for Large Language Models [38.402161594793775]
チェーン・オブ・ソート・プロンプトや自己整合性といった手法は、追加のトレーニングを伴わずに、言語モデル推論のパフォーマンスのフロンティアを押し上げている。
大規模言語モデルのためのプロンプトアンサンブル手法を提案する。これは、小さなデータセットを用いて、強化されたプロンプトアンサンブルを構成する一連のショットプロンプトを構成する。」
これにより,GSM8kおよびAQuAデータセットにおいて,単一プロンプトの出力空間アンサンブルとタグ付きプロンプト空間アンサンブルより優れることを示す。
論文 参考訳（メタデータ） (2023-04-12T16:47:15Z) - Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models [48.77653835765705]
そこでは,まず下位分布から潜在ベクトルをサンプリングし,次に軽量な生成モデルを用いてラベル固有のプロンプトを階層的に生成する。
提案手法の有効性は,少数ショット画像認識,ベース・ツー・ニュージェネリゼーション,データセット転送学習,ドメインシフトの4つのタスクで評価する。
論文 参考訳（メタデータ） (2023-03-16T06:09:15Z) - STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot
Classification [5.6205035780719275]
本稿ではSTPrompt-Semantic-GuidedおよびTask-driven Promptモデルを提案する。
提案モデルでは,テキスト分類タスクの5つの異なるデータセットにおいて,最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-10-29T04:42:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。