Fugu-MT 論文翻訳(概要): Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution

論文の概要: Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution

arxiv url: http://arxiv.org/abs/2309.16797v1
Date: Thu, 28 Sep 2023 19:01:07 GMT
ステータス: 処理完了
システム内更新日: 2023-10-02 16:38:48.311976
Title: Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution
Title（参考訳）: Promptbreeder: プロンプト進化による自己参照型自己改善
Authors: Chrisantha Fernando, Dylan Banarse, Henryk Michalewski, Simon Osindero, Tim Rockt\"aschel
Abstract要約: 本稿では,汎用的な自己参照型自己改善機構であるPromptbreederを提案する。 Promptbreederはタスクプロンプトの個体群を変異させ、その後トレーニングセットで適合性を評価する。 Promptbreederは、ヘイトスピーチ分類の難しい問題のために複雑なタスクプロンプトを進化させることができる。
参考スコア（独自算出の注目度）: 16.47984374868577
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Popular prompt strategies like Chain-of-Thought Prompting can dramatically improve the reasoning abilities of Large Language Models (LLMs) in various domains. However, such hand-crafted prompt-strategies are often sub-optimal. In this paper, we present Promptbreeder, a general-purpose self-referential self-improvement mechanism that evolves and adapts prompts for a given domain. Driven by an LLM, Promptbreeder mutates a population of task-prompts, and subsequently evaluates them for fitness on a training set. Crucially, the mutation of these task-prompts is governed by mutation-prompts that the LLM generates and improves throughout evolution in a self-referential way. That is, Promptbreeder is not just improving task-prompts, but it is also improving the mutationprompts that improve these task-prompts. Promptbreeder outperforms state-of-the-art prompt strategies such as Chain-of-Thought and Plan-and-Solve Prompting on commonly used arithmetic and commonsense reasoning benchmarks. Furthermore, Promptbreeder is able to evolve intricate task-prompts for the challenging problem of hate speech classification.
Abstract（参考訳）: Chain-of-Thought Promptingのような一般的なプロンプト戦略は、様々なドメインにおけるLarge Language Models(LLM)の推論能力を劇的に改善することができる。しかし、手作りのプロンプト戦略はしばしば準最適である。本稿では,ある領域のプロンプトを進化・適応する汎用自己参照型自己改善機構であるPromptbreederを提案する。 llmによって駆動され、プロンプトブレッダーはタスクプロンプトの集団をミュートし、トレーニングセットの適合性を評価する。重要なことに、これらのタスク・プロンプトの突然変異は、LPMが自己参照的な方法で進化を通して生成し改善する突然変異・プロンプトによって制御される。つまり、Promptbreederはタスクプロンプトを改善するだけでなく、これらのタスクプロンプトを改善する突然変異プロンプトも改善している。 Promptbreederは、一般的な算術および常識推論ベンチマークでChain-of-ThoughtやPlan-and-Solve Promptingのような最先端のプロンプト戦略より優れている。さらに、プロンプトブレッダーはヘイトスピーチ分類の難しい問題に対して複雑なタスクプロンプトを進化させることができる。

関連論文リスト

StablePrompt: Automatic Prompt Tuning using Reinforcement Learning for Large Language Models [21.556184207901115]
強化学習(Reinforcement Learning, RL)は, 即時チューニングに広く用いられているが, その固有の不安定性と環境依存性は, 実際にの使用を困難にしている。トレーニング安定性と探索空間のバランスを保ち、RLの不安定性を軽減し、高性能なプロンプトを生成するStablePromptを提案する。
論文参考訳（メタデータ） (2024-10-10T06:35:51Z)
On Meta-Prompting [18.949285430843695]
これらのアプローチをメタプロンプトと呼ぶか、あるいはプロンプトを得るよう促す。本稿では,圏論に基づく理論的枠組みを提案し,それらを一般化し記述する。
論文参考訳（メタデータ） (2023-12-11T17:46:44Z)
SPELL: Semantic Prompt Evolution based on a LLM [5.983194751474721]
大規模言語モデル(LLM)はトークンによって一貫性のあるテキストトークンを生成する強力な能力を持つ。本研究では,テキストの自動最適化のためのブラックボックス進化アルゴリズム,SPELLを提案する。実験の結果,SPELLはプロンプトを急速に改善できることがわかった。
論文参考訳（メタデータ） (2023-10-02T14:51:16Z)
Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
EvoPromptは離散的なプロンプト最適化のためのフレームワークである。進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
論文参考訳（メタデータ） (2023-09-15T16:50:09Z)
PREFER: Prompt Ensemble Learning via Feedback-Reflect-Refine [24.888093229577965]
提案する制約に対処するため,Prefer という,シンプルで普遍的で自動的な手法を提案する。我々のPreferは、複数のタスクにおける最先端のパフォーマンスを、大きなマージンで達成する。
論文参考訳（メタデータ） (2023-08-23T09:46:37Z)
Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文参考訳（メタデータ） (2023-07-13T17:59:35Z)
MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
論文参考訳（メタデータ） (2022-09-23T09:01:05Z)
Prompting Decision Transformer for Few-Shot Policy Generalization [98.0914217850999]
本稿では,オフラインRLにおける少数ショット適応を実現するために,Prompt-based Decision Transformer (Prompt-DT)を提案する。 Prompt-DTは、目に見えないターゲットタスクを微調整することなく、強力な数発の学習者である。
論文参考訳（メタデータ） (2022-06-27T17:59:17Z)
RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-05-25T07:50:31Z)
OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。 OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
論文参考訳（メタデータ） (2021-11-03T03:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。