論文の概要: AutoPDL: Automatic Prompt Optimization for LLM Agents

• arxiv url: http://arxiv.org/abs/2504.04365v1
• Date: Sun, 06 Apr 2025 05:30:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:13:19.402943
• Title: AutoPDL: Automatic Prompt Optimization for LLM Agents
• Title（参考訳）: AutoPDL: LLMエージェントの自動プロンプト最適化
• Authors: Claudio Spiess, Mandana Vaziri, Louis Mandel, Martin Hirzel,
• Abstract要約: 本稿では,適切なプロンプトエージェント構成を見つけるための自動アプローチであるAutoPDLを提案する。 本稿では,PDLプロンプト言語を実装したライブラリを紹介する。 我々は、一貫性のある精度向上(9.5pm17.5$%ポイント)を68.9ppまで示し、選択されたプロンプト戦略がモデルやタスクによって異なることを明らかにした。
• 参考スコア（独自算出の注目度）: 1.715270928578365
• License:
• Abstract: The performance of large language models (LLMs) depends on how they are prompted, with choices spanning both the high-level prompting pattern (e.g., Zero-Shot, CoT, ReAct, ReWOO) and the specific prompt content (instructions and few-shot demonstrations). Manually tuning this combination is tedious, error-prone, and non-transferable across LLMs or tasks. Therefore, this paper proposes AutoPDL, an automated approach to discover good LLM agent configurations. Our method frames this as a structured AutoML problem over a combinatorial space of agentic and non-agentic prompting patterns and demonstrations, using successive halving to efficiently navigate this space. We introduce a library implementing common prompting patterns using the PDL prompt programming language. AutoPDL solutions are human-readable, editable, and executable PDL programs that use this library. This approach also enables source-to-source optimization, allowing human-in-the-loop refinement and reuse. Evaluations across three tasks and six LLMs (ranging from 8B to 70B parameters) show consistent accuracy gains ($9.5\pm17.5$ percentage points), up to 68.9pp, and reveal that selected prompting strategies vary across models and tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)のパフォーマンスは、高レベルのプロンプトパターン(例えば、Zero-Shot、CoT、ReAct、ReWOO)と特定のプロンプトコンテンツ(インストラクションと数発のデモ)の両方にまたがる。 手動でこの組み合わせをチューニングするのは面倒で、エラーを起こしやすい。 そこで本稿では,優れたLLMエージェント構成を見つけるための自動アプローチであるAutoPDLを提案する。 提案手法は, エージェントおよび非エージェントのプロンプトパターンとデモの組合せ空間上の構造的AutoML問題として, 連続半減法を用いて, この空間を効率的にナビゲートする。 本稿では,PDLプロンプト言語を用いた共通プロンプトパターンを実装したライブラリを提案する。 AutoPDLソリューションは、このライブラリを使用する人間可読性、編集性、実行可能なPDLプログラムである。 このアプローチはまた、ソース・トゥ・ソースの最適化を可能にし、人間のループの洗練と再利用を可能にしている。 3つのタスクと6つのLSM(8Bから70Bパラメータ)による評価では、一貫した精度(9.5\pm17.5$%ポイント)が68.9ppまで上昇し、選択されたプロンプト戦略がモデルやタスクによって異なることが明らかになった。

関連論文リスト

• LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
  自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-28T03:18:48Z)
• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• LLMmap: Fingerprinting For Large Language Models [15.726286532500971]
  LLMmapは、わずか8つのインタラクションで、95%以上の精度で42の異なるLLMバージョンを正確に識別することができる。 潜在的な軽減策について議論し、資源に満ちた敵に対して、効果的な対策が困難か、あるいは実現不可能であることを実証する。
  論文  参考訳（メタデータ） (2024-07-22T17:59:45Z)
• RePrompt: Planning by Automatic Prompt Engineering for Large Language Models Agents [27.807695570974644]
  LLMエージェントに与えられたプロンプトのステップバイステップ命令を最適化するために、段階的な降下を行う新しい方法、textscRePromptを提案する。 中間的なフィードバックを活用することで、 textscRePromptは最終的なソリューションチェッカーを必要とせずにプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2024-06-17T01:23:11Z)
• PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Heuristic-based Sampling [20.0605311279483]
  マルチステップタスク(PROMST)におけるPRompt Optimizationを導入する。 人間が設計したフィードバックルールを組み込んで、改善のための直接提案を自動的に提供する。 これは、人間工学的なプロンプトと、他のいくつかのプロンプト最適化手法の両方において、11の代表的なマルチステップタスクよりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-02-13T16:38:01Z)
• Automating the Generation of Prompts for LLM-based Action Choice in PDDL Planning [59.543858889996024]
  大規模言語モデル(LLM)は、様々なNLPタスクに革命をもたらした。 LLMを利用してPDDL入力からNLプロンプトを自動的に生成する方法を示す。
  論文  参考訳（メタデータ） (2023-11-16T11:55:27Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。