論文の概要: One Size Does Not Fit All: Customizing Open-Domain Procedures
- arxiv url: http://arxiv.org/abs/2311.09510v1
- Date: Thu, 16 Nov 2023 02:25:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 16:48:47.870542
- Title: One Size Does Not Fit All: Customizing Open-Domain Procedures
- Title(参考訳): オープンドメインの手続きをカスタマイズする1つのサイズ
- Authors: Yash Kumar Lal and Li Zhang and Faeze Brahman and Bodhisattwa Prasad
Majumder and Peter Clark and Niket Tandon
- Abstract要約: LLMがいかにオープンドメインの手順をカスタマイズできるかについて、最初の研究を行う。
LLMをCustomizationAgentとExecutionAgentを異なる設定で使用することで、それらの能力を確立します。
人間による評価では、これらのエージェントをシークエンシャルな設定で使うのが一番良いが、それでも51%の時間で十分である。
- 参考スコア(独自算出の注目度): 37.93783597947141
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How-to procedures, such as how to plant a garden, are ubiquitous. But one
size does not fit all - humans often need to customize these procedural plans
according to their specific needs, e.g., planting a garden without pesticides.
While LLMs can fluently generate generic procedures, we present the first study
on how well LLMs can customize open-domain procedures. We introduce
CustomPlans, a probe dataset of customization hints that encodes diverse user
needs for open-domain How-to procedures. Using LLMs as CustomizationAgent and
ExecutionAgent in different settings, we establish their abilities to perform
open-domain procedure customization. Human evaluation shows that using these
agents in a Sequential setting is the best, but they are good enough only ~51%
of the time. Error analysis shows that LLMs do not sufficiently address user
customization needs in their generated procedures.
- Abstract(参考訳): 庭を植える方法など、ハウツーの手順はユビキタスである。
しかし、1つのサイズがすべてに合わない - 人間は特定のニーズに応じてこれらの手続き計画をカスタマイズする必要がある。
LLMはジェネリックプロシージャを柔軟に生成できるが、LLMがオープンドメインプロシージャをいかにカスタマイズできるかに関する最初の研究を示す。
オープンドメインのハウツープロシージャに対する多様なユーザニーズをエンコードするカスタマイズヒントのプローブデータセットであるCustomPlansを紹介した。
異なる設定で、カスタマイズエージェントおよび実行エージェントとしてllmsを使用することで、オープンドメインの手続きをカスタマイズする能力を確立する。
人間の評価では、これらのエージェントをシークエンシャルな設定で使用するのが最適であるが、その時間の51%程度で十分である。
エラー解析では、LLMは生成されたプロシージャにおけるユーザカスタマイズのニーズに十分対応していない。
関連論文リスト
- FLAP: Flow-Adhering Planning with Constrained Decoding in LLMs [7.008135803030462]
タスク指向対話(TOD)におけるエージェントにとって,計画は重要なタスクである
タスク指向対話(TOD)におけるエージェントにとって,計画は重要なタスクである
論文 参考訳(メタデータ) (2024-03-09T02:27:45Z) - PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Preference Alignment [20.0605311279483]
与えられたタスクに対して,大きな言語モデル(LLM)に最適なプロンプトを見つけるための新しいフレームワークを導入する。
我々は、プロンプト候補から効率的にサンプリングするために、プロンプト性能を予測する余分な学習モデルを使用する。
このアプローチは、人間工学的なプロンプトと、11の代表的なマルチステップタスクにまたがる他のプロンプト最適化手法の両方を著しく上回っている。
論文 参考訳(メタデータ) (2024-02-13T16:38:01Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Aligner: One Global Token is Worth Millions of Parameters When Aligning
Large Language Models [72.26732961610557]
私たちは小説『アリグナー』を紹介します。
マルチビリオンパラメータサイズ大言語モデル(LLM)の整列のためのPEFT法
Alignerは、数百万のパラメータを必要とするLoRAのような最先端のLLM適応手法に対して、相容れない性能を保てることを示す。
論文 参考訳(メタデータ) (2023-12-09T08:25:55Z) - Formally Specifying the High-Level Behavior of LLM-Based Agents [24.645319505305316]
LLMはタスク固有の微調整モデルを必要とせずに、課題を解決するための有望なツールとして登場した。
現在、このようなエージェントの設計と実装はアドホックであり、LLMベースのエージェントが自然に適用できる様々なタスクは、エージェント設計に一律に適合するアプローチが存在しないことを意味する。
エージェント構築のプロセスを簡単にする最小主義的生成フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-12T17:24:15Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - Recommender AI Agent: Integrating Large Language Models for Interactive
Recommendations [53.76682562935373]
我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。
InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
論文 参考訳(メタデータ) (2023-08-31T07:36:44Z) - A Unified and Efficient Coordinating Framework for Autonomous DBMS
Tuning [34.85351481228439]
既存のMLベースのエージェントを効率的に活用するための統合コーディネートフレームワークを提案する。
機械学習ベースのエージェントを効果的に利用し、ワークロードの実行時間に1.414.1Xのスピードアップでより良い設定を実現できることを示す。
論文 参考訳(メタデータ) (2023-03-10T05:27:23Z) - Multi-Agent Reinforcement Learning for Microprocessor Design Space
Exploration [71.95914457415624]
マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。
この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。
評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
論文 参考訳(メタデータ) (2022-11-29T17:10:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。