論文の概要: RePrompt: Planning by Automatic Prompt Engineering for Large Language Models Agents

• arxiv url: http://arxiv.org/abs/2406.11132v2
• Date: Thu, 13 Feb 2025 21:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:06:01.705234
• Title: RePrompt: Planning by Automatic Prompt Engineering for Large Language Models Agents
• Title（参考訳）: RePrompt:大規模言語モデルエージェントのための自動プロンプトエンジニアリングによる計画
• Authors: Weizhe Chen, Sven Koenig, Bistra Dilkina,
• Abstract要約: LLMエージェントに与えられたプロンプトのステップバイステップ命令を最適化するために、段階的な降下を行う新しい方法、textscRePromptを提案する。 中間的なフィードバックを活用することで、 textscRePromptは最終的なソリューションチェッカーを必要とせずにプロンプトを最適化できる。
• 参考スコア（独自算出の注目度）: 27.807695570974644
• License:
• Abstract: In the past year, large language models (LLMs) have had remarkable success in domains outside the traditional natural language processing, and their capacity is further expanded into the so-called LLM agents when connected with external tools. In all domains, the prompt to the LLMs has been shown to make a big difference in what the LLM would generate and thus affect the performance of the LLM agents. Therefore, automatic prompt engineering (APE) has become an important question for many researchers and users of LLMs. However, previous works in APE rely on a final checker to evaluate the performance of the given prompt -- a requirement that is hard to meet in the case of LLM agents, where intermediate feedback is easier to obtain, and the final evaluation could be expensive, inaccurate, or even missing. In this paper, we propose a novel method, \textsc{RePrompt}, which does a ``gradient descent"-like approach to optimize the step-by-step instructions in the prompts given to LLM agents, based on the chat history obtained from interactions and reflections with LLM agents. By leveraging intermediate feedback, \textsc{RePrompt} can optimize the prompt without the need for a final solution checker. We evaluate our approach on PDDL generation, TravelPlanner, and Meeting Planning to show that our method could generally improve performance for different reasoning tasks.
• Abstract（参考訳）: 過去1年間、大規模言語モデル(LLM)は従来の自然言語処理以外の領域で顕著な成功を収めており、その能力は外部ツールと接続するときにLLMエージェントにさらに拡張されている。 すべての領域において、LLMのプロンプトはLLMが生成するものに大きな違いを示し、LLMエージェントの性能に影響を及ぼす。 したがって、自動プロンプトエンジニアリング(APE)は多くの研究者やLLMのユーザにとって重要な問題となっている。 しかし、APEの以前の研究は、与えられたプロンプトのパフォーマンスを評価するためにファイナルチェッカーに依存していた -- LLMエージェントの場合、中間フィードバックが入手しやすく、最終的な評価が高価、不正確、あるいは欠落する可能性さえある。 本稿では, LLMエージェントとの対話やリフレクションから得られるチャット履歴に基づいて, LLMエージェントに与えられたプロンプトのステップバイステップ命令を最適化するために, ``gradient descent' のようなアプローチを行う新しい手法である \textsc{RePrompt} を提案する。 中間的なフィードバックを活用することで、最終的なソリューションチェッカーを必要とせずにプロンプトを最適化できる。 我々はPDDL生成,TravelPlanner,ミーティングプランニングに対するアプローチを評価し,提案手法が一般に異なる推論タスクの性能を向上させることを示す。

関連論文リスト

• LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
  自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-28T03:18:48Z)
• Dynamic Ensemble Reasoning for LLM Experts [35.774197263383996]
  本研究では,動的入力を前提とした複数のLLMエキスパートの強みを統合するために,DERと呼ばれる動的アンサンブル推論パラダイムを提案する。 提案手法では,最先端のベースラインに比べて計算資源が少ないため,性能が向上する。
  論文  参考訳（メタデータ） (2024-12-10T12:05:56Z)
• LLM4PR: Improving Post-Ranking in Search Engine with Large Language Models [9.566432486156335]
  検索エンジンにおける後処理のための大規模言語モデル(LLM4PR) 検索エンジン(LLM4PR)におけるポストランキングのための大規模言語モデル(Large Language Models for Post-Ranking)という新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-11-02T08:36:16Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Towards Hierarchical Multi-Agent Workflows for Zero-Shot Prompt Optimization [19.200989737492595]
  大規模言語モデル(LLM)は、ユーザの質問に答える上で大きな進歩を見せている。 LLMの出力の品質はプロンプト設計に大きく依存しており、優れたプロンプトによってLLMが非常に難しい問題に正しく答えられる可能性がある。 LLMの階層構造を提案し、まず、正確な指示と正確な単語を階層的に生成し、次に、このプロンプトを用いてユーザクエリの最終回答を生成する。
  論文  参考訳（メタデータ） (2024-05-30T17:05:45Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• A Survey on Prompting Techniques in LLMs [0.0]
  自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。 本研究は,既存の文献の分類手法について紹介し,この分類法に基づく簡潔な調査を行う。 我々は、将来の研究の方向性として役立つ自己回帰型LSMの推進という領域において、いくつかの未解決の問題を特定した。
  論文  参考訳（メタデータ） (2023-11-28T17:56:34Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• Recommender AI Agent: Integrating Large Language Models for Interactive Recommendations [53.76682562935373]
  我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。 InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
  論文  参考訳（メタデータ） (2023-08-31T07:36:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。