論文の概要: SPELL: Semantic Prompt Evolution based on a LLM

• arxiv url: http://arxiv.org/abs/2310.01260v1
• Date: Mon, 2 Oct 2023 14:51:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 21:21:50.460653
• Title: SPELL: Semantic Prompt Evolution based on a LLM
• Title（参考訳）: SPELL: LLMに基づくセマンティックプロンプト進化
• Authors: Yujian Betterest Li, Kai Wu
• Abstract要約: 大規模言語モデル(LLM)はトークンによって一貫性のあるテキストトークンを生成する強力な能力を持つ。 本研究では,テキストの自動最適化のためのブラックボックス進化アルゴリズム,SPELLを提案する。 実験の結果,SPELLはプロンプトを急速に改善できることがわかった。
• 参考スコア（独自算出の注目度）: 5.983194751474721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt engineering is a new paradigm for enhancing the performance of trained neural network models. For optimizing text-style prompts, existing methods usually individually operate small portions of a text step by step, which either breaks the fluency or could not globally adjust a prompt. Since large language models (LLMs) have powerful ability of generating coherent texts token by token, can we utilize LLMs for improving prompts? Based on this motivation, in this paper, considering a trained LLM as a text generator, we attempt to design a black-box evolution algorithm for automatically optimizing texts, namely SPELL (Semantic Prompt Evolution based on a LLM). The proposed method is evaluated with different LLMs and evolution parameters in different text tasks. Experimental results show that SPELL could rapidly improve the prompts indeed. We further explore the evolution process and discuss on the limitations, potential possibilities and future work.
• Abstract（参考訳）: Prompt Engineeringは、トレーニングされたニューラルネットワークモデルのパフォーマンスを向上させるための新しいパラダイムである。 テキストスタイルのプロンプトを最適化するために、既存のメソッドは通常、テキストの小さな部分をステップごとに個別に操作する。 大規模言語モデル(llm)はトークンによってコヒーレントなテキストを生成する強力な能力を持っているため、プロンプトを改善するためにllmを活用できるか? この動機に基づき,本論文では,テキストジェネレータとして訓練されたLLMを考慮し,テキストの自動最適化のためのブラックボックス進化アルゴリズム,すなわちSPELL(Semantic Prompt Evolution based on a LLM)を設計する。 提案手法は,異なるテキストタスクにおける異なるLLMと進化パラメータを用いて評価する。 実験の結果,SPELLはプロンプトを急速に改善できることがわかった。 さらに,進化過程を探究し,限界,可能性,今後の課題について論じる。

関連論文リスト

• IPO: Interpretable Prompt Optimization for Vision-Language Models [40.83071220530289]
  本稿では,シンプルだが解釈可能なプロンプト(IPO)を紹介する。 IPOは大規模言語モデル(LLM)を使用してテキストプロンプトを動的に生成する。 画像記述を生成することで、視覚的内容の条件付けに大型マルチモーダルモデル(LMM)を組み込む。
  論文  参考訳（メタデータ） (2024-10-20T14:10:22Z)
• Self-Instructed Derived Prompt Generation Meets In-Context Learning: Unlocking New Potential of Black-Box LLMs [30.333277284839053]
  大規模言語モデル(LLM)は、高品質な応答を生成することに成功している。 応答品質を向上させる既存の方法は、しばしば即時改善モデルを含む。 我々は、LLMにより効果的な応答を提供するための自己指示型インコンテキスト学習フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-09-03T02:42:39Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)
• A Survey on Prompting Techniques in LLMs [0.0]
  自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。 本研究は,既存の文献の分類手法について紹介し,この分類法に基づく簡潔な調査を行う。 我々は、将来の研究の方向性として役立つ自己回帰型LSMの推進という領域において、いくつかの未解決の問題を特定した。
  論文  参考訳（メタデータ） (2023-11-28T17:56:34Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。