論文の概要: Towards Hierarchical Multi-Agent Workflows for Zero-Shot Prompt Optimization
- arxiv url: http://arxiv.org/abs/2405.20252v1
- Date: Thu, 30 May 2024 17:05:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 13:19:40.087794
- Title: Towards Hierarchical Multi-Agent Workflows for Zero-Shot Prompt Optimization
- Title(参考訳): ゼロショットプロンプト最適化のための階層型マルチエージェントワークフローに向けて
- Authors: Yuchi Liu, Jaskirat Singh, Gaowen Liu, Ali Payani, Liang Zheng,
- Abstract要約: 大規模言語モデル(LLM)は、ユーザの質問に答える上で大きな進歩を見せている。
LLMの出力の品質はプロンプト設計に大きく依存しており、優れたプロンプトによってLLMが非常に難しい問題に正しく答えられる可能性がある。
LLMの階層構造を提案し、まず、正確な指示と正確な単語を階層的に生成し、次に、このプロンプトを用いてユーザクエリの最終回答を生成する。
- 参考スコア(独自算出の注目度): 19.200989737492595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown great progress in responding to user questions, allowing for a multitude of diverse applications. Yet, the quality of LLM outputs heavily depends on the prompt design, where a good prompt might enable the LLM to answer a very challenging question correctly. Therefore, recent works have developed many strategies for improving the prompt, including both manual crafting and in-domain optimization. However, their efficacy in unrestricted scenarios remains questionable, as the former depends on human design for specific questions and the latter usually generalizes poorly to unseen scenarios. To address these problems, we give LLMs the freedom to design the best prompts according to themselves. Specifically, we include a hierarchy of LLMs, first constructing a prompt with precise instructions and accurate wording in a hierarchical manner, and then using this prompt to generate the final answer to the user query. We term this pipeline Hierarchical Multi-Agent Workflow, or HMAW. In contrast with prior works, HMAW imposes no human restriction and requires no training, and is completely task-agnostic while capable of adjusting to the nuances of the underlying task. Through both quantitative and qualitative experiments across multiple benchmarks, we verify that despite its simplicity, the proposed approach can create detailed and suitable prompts, further boosting the performance of current LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)は、ユーザの質問に答える上で大きな進歩を示しており、多種多様なアプリケーションを可能にしている。
しかし、LLMの出力の品質はプロンプト設計に大きく依存しており、優れたプロンプトによってLLMが非常に難しい問題に正しく答えられる可能性がある。
そのため、最近の研究は、手作業とドメイン内最適化の両方を含む、プロンプトを改善するための多くの戦略を開発してきた。
しかしながら、制限のないシナリオにおけるそれらの有効性は疑問の余地がなく、前者は特定の質問に対して人間設計に依存し、後者は通常、目に見えないシナリオに対してあまり一般化しない。
これらの問題に対処するため、私たちはLLMに対して、自分たちで最適なプロンプトを設計する自由を与えます。
具体的には、LLMの階層構造を含み、まず、正確な指示と正確な単語を階層的に生成し、次にこのプロンプトを使用して、ユーザクエリの最終回答を生成する。
このパイプラインを階層的マルチエージェントワークフロー(Hierarchical Multi-Agent Workflow, HMAW)と呼ぶ。
従来の作業とは対照的に、HMAWは人間の制約を課さず、訓練も必要とせず、基礎となるタスクのニュアンスに調整できるが、完全にタスクに依存しない。
複数のベンチマークにまたがる定量的および定性的な実験により、提案手法は単純さにもかかわらず、詳細かつ適切なプロンプトを生成でき、現在のLLMの性能をさらに向上させることができることを確認した。
関連論文リスト
- Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering [18.94220625114711]
大きな言語モデル(LLM)は驚くほどよく機能し、多くのタスクにおいて人間の専門家より優れています。
本稿では,LLMに基づいてKGから推論経路を選択するパイプラインを統合し,最適化する。
また,思考の連鎖(CoT)とページランクに基づく,シンプルで効果的なサブグラフ検索手法を提案する。
論文 参考訳(メタデータ) (2024-04-16T08:28:16Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳(メタデータ) (2024-04-01T12:19:08Z) - Towards Generalist Prompting for Large Language Models by Mental Models [105.03747314550591]
大規模言語モデル(LLM)は多くのタスクにおいて素晴らしいパフォーマンスを示している。
最適な性能を達成するには、特別に設計されたプロンプト法が必要である。
本稿では,最適あるいは準最適性能を実現する設計原理に基づくジェネラリストプロンプトの概念を紹介する。
論文 参考訳(メタデータ) (2024-02-28T11:29:09Z) - PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Preference Alignment [20.0605311279483]
与えられたタスクに対して,大きな言語モデル(LLM)に最適なプロンプトを見つけるための新しいフレームワークを導入する。
我々は、プロンプト候補から効率的にサンプリングするために、プロンプト性能を予測する余分な学習モデルを使用する。
このアプローチは、人間工学的なプロンプトと、11の代表的なマルチステップタスクにまたがる他のプロンプト最適化手法の両方を著しく上回っている。
論文 参考訳(メタデータ) (2024-02-13T16:38:01Z) - Rescue: Ranking LLM Responses with Partial Ordering to Improve Response
Generation [30.620633200577114]
本稿では,ランキング指標を用いたLCMの最適化手法を提案する。
従来の完全順序付けではなく、部分順序付けを提唱する。
ベンチマークデータセットを用いて,システムの改善された応答生成能力を検証した。
論文 参考訳(メタデータ) (2023-11-15T17:27:14Z) - Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering [35.2883028685345]
大規模言語モデル(LLM)は、ドメイン固有の質問応答(QA)の実際のシナリオにデプロイされる。
本稿では,2つの課題に対処するための2種類の選好セットを構築するKnowPAT(KnowPAT)を紹介する。
また,LLM選好と人間の選好を均一に一致させる新たなアライメント目標を設計する。
論文 参考訳(メタデータ) (2023-11-11T07:56:40Z) - FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。
本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。
FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
論文 参考訳(メタデータ) (2023-10-31T12:32:38Z) - LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient
Querying [71.86163159193327]
大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。
この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。
第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
論文 参考訳(メタデータ) (2023-08-21T02:07:35Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-05-16T17:55:51Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z) - Active Prompting with Chain-of-Thought for Large Language Models [25.402087137452522]
本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。
不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。
実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
論文 参考訳(メタデータ) (2023-02-23T18:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。