論文の概要: The Unreasonable Effectiveness of Eccentric Automatic Prompts
- arxiv url: http://arxiv.org/abs/2402.10949v2
- Date: Tue, 20 Feb 2024 15:03:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 19:01:25.729144
- Title: The Unreasonable Effectiveness of Eccentric Automatic Prompts
- Title(参考訳): 偏心型自動プロンプトの理不尽な効果
- Authors: Rick Battle and Teja Gollapudi
- Abstract要約: 大規模言語モデル(LLM)は、目覚ましい問題解決と基本的な計算能力を示している。
本研究は,プロンプトのシステムメッセージに「肯定的思考」を取り入れた影響を定量化する試みである。
次に、最適「肯定的思考」プロンプトの性能を、系統的プロンプト最適化の出力と比較する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable problem-solving and
basic mathematics abilities. However, their efficacy is highly contingent on
the formulation of the prompt. This study endeavors to quantify the influence
of incorporating "positive thinking" into the system message of the prompt,
then compare that to systematic prompt optimization. We assess the performance
of 60 combinations of system message snippets, tested with and without Chain of
Thought prompting, across three models with parameters ranging from 7 to 70
billion on the GSM8K dataset. Our findings reveal that results do not
universally generalize across models. In most instances, the inclusion of
"positive thinking" prompts positively affected model performance. Notably,
however, Llama2-70B exhibited an exception when not utilizing Chain of Thought,
as the optimal system message was found to be none at all. Given the
combinatorial complexity, and thus computation time, of experimenting with
hand-tuning prompts for large black-box models, we then compared the
performance of the best "positive thinking" prompt against the output of
systematic prompt optimization. We show that employing an automated prompt
optimizer emerges as the most effective method for enhancing performance, even
when working with smaller open-source models. Additionally, our findings reveal
that the highest-scoring, automatically-optimized prompt exhibits a degree of
peculiarity far beyond expectations.
- Abstract(参考訳): 大規模言語モデル(llm)は驚くべき問題解決と基本的な数学能力を示している。
しかし、それらの効果はプロンプトの定式化に強く依存している。
本研究は,プロンプトのシステムメッセージに「肯定的思考」を取り入れた影響を定量化し,それをシステマティックなプロンプト最適化と比較する。
gsm8kデータセット上で7~70億のパラメータを持つ3つのモデルに対して,システムメッセージスニペットの60組み合わせのパフォーマンスを評価し,思考プロンプトの連鎖の有無をテストした。
以上の結果から,結果がモデル間で普遍的に一般化しないことが明らかとなった。
ほとんどのケースでは、"ポジティブシンキング"の導入はモデルパフォーマンスに肯定的な影響を与えます。
しかし、特にLlama2-70Bは、最適なシステムメッセージが全くないとして、Chain of Thoughtを使わない場合に例外を示した。
大規模なブラックボックスモデルに対して手動操作のプロンプトを実験する場合の組合せ複雑性と計算時間を考慮し、最適「ポジティブ思考」プロンプトの性能を系統的なプロンプト最適化の出力と比較した。
より小さなオープンソースモデルで作業する場合であっても,自動プロンプトオプティマイザの導入がパフォーマンス向上の最も効果的な方法であることを示す。
さらに,最も高いスコア付け,自動最適化プロンプトは,期待以上の特異性を示すことが明らかとなった。
関連論文リスト
- Mothman at SemEval-2024 Task 9: An Iterative System for Chain-of-Thought Prompt Optimization [0.0]
BrainTeaserは、横方向の思考に関するタスクテストを共有し、暗記を防ぐために敵のデータセットを使用している。
そこで本研究では,人間による評価を用いてプロンプトを最適化する,反復的・連鎖的プロンプトエンジニアリングシステムを提案する。
論文 参考訳(メタデータ) (2024-05-03T23:04:52Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳(メタデータ) (2024-04-01T12:19:08Z) - PhaseEvo: Towards Unified In-Context Prompt Optimization for Large
Language Models [9.362082187605356]
本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。
PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
論文 参考訳(メタデータ) (2024-02-17T17:47:10Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - Robust Prompt Optimization for Large Language Models Against
Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。
本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。
この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文 参考訳(メタデータ) (2023-05-23T11:30:43Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T12:28:25Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z) - Fast Rates for Contextual Linear Optimization [52.39202699484225]
提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。
予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
論文 参考訳(メタデータ) (2020-11-05T18:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。