論文の概要: One Size Does Not Fit All: Customizing Open-Domain Procedures
- arxiv url: http://arxiv.org/abs/2311.09510v1
- Date: Thu, 16 Nov 2023 02:25:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 16:48:47.870542
- Title: One Size Does Not Fit All: Customizing Open-Domain Procedures
- Title(参考訳): オープンドメインの手続きをカスタマイズする1つのサイズ
- Authors: Yash Kumar Lal and Li Zhang and Faeze Brahman and Bodhisattwa Prasad
Majumder and Peter Clark and Niket Tandon
- Abstract要約: LLMがいかにオープンドメインの手順をカスタマイズできるかについて、最初の研究を行う。
LLMをCustomizationAgentとExecutionAgentを異なる設定で使用することで、それらの能力を確立します。
人間による評価では、これらのエージェントをシークエンシャルな設定で使うのが一番良いが、それでも51%の時間で十分である。
- 参考スコア(独自算出の注目度): 37.93783597947141
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How-to procedures, such as how to plant a garden, are ubiquitous. But one
size does not fit all - humans often need to customize these procedural plans
according to their specific needs, e.g., planting a garden without pesticides.
While LLMs can fluently generate generic procedures, we present the first study
on how well LLMs can customize open-domain procedures. We introduce
CustomPlans, a probe dataset of customization hints that encodes diverse user
needs for open-domain How-to procedures. Using LLMs as CustomizationAgent and
ExecutionAgent in different settings, we establish their abilities to perform
open-domain procedure customization. Human evaluation shows that using these
agents in a Sequential setting is the best, but they are good enough only ~51%
of the time. Error analysis shows that LLMs do not sufficiently address user
customization needs in their generated procedures.
- Abstract(参考訳): 庭を植える方法など、ハウツーの手順はユビキタスである。
しかし、1つのサイズがすべてに合わない - 人間は特定のニーズに応じてこれらの手続き計画をカスタマイズする必要がある。
LLMはジェネリックプロシージャを柔軟に生成できるが、LLMがオープンドメインプロシージャをいかにカスタマイズできるかに関する最初の研究を示す。
オープンドメインのハウツープロシージャに対する多様なユーザニーズをエンコードするカスタマイズヒントのプローブデータセットであるCustomPlansを紹介した。
異なる設定で、カスタマイズエージェントおよび実行エージェントとしてllmsを使用することで、オープンドメインの手続きをカスタマイズする能力を確立する。
人間の評価では、これらのエージェントをシークエンシャルな設定で使用するのが最適であるが、その時間の51%程度で十分である。
エラー解析では、LLMは生成されたプロシージャにおけるユーザカスタマイズのニーズに十分対応していない。
関連論文リスト
- AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。
近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。
本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
論文 参考訳(メタデータ) (2024-10-03T20:01:09Z) - LLMs + Persona-Plug = Personalized LLMs [41.60364110693824]
パーソナライゼーションは多くの言語タスクやアプリケーションにおいて重要な役割を担っている。
これにより、大きな言語モデル(LLM)を適用して、ユーザの好みに合わせてカスタマイズされたアウトプットを生成する、さまざまなパーソナライズされたアプローチが開発された。
そこで我々は,LLMモデルを提案する。軽量なプラグインユーザ埋め込みモジュールを用いて,過去の状況をすべてモデル化し,個人毎のユーザ固有の埋め込みを構築する。
論文 参考訳(メタデータ) (2024-09-18T11:54:45Z) - Towards Hierarchical Multi-Agent Workflows for Zero-Shot Prompt Optimization [19.200989737492595]
大規模言語モデル(LLM)は、ユーザの質問に答える上で大きな進歩を見せている。
LLMの出力の品質はプロンプト設計に大きく依存しており、優れたプロンプトによってLLMが非常に難しい問題に正しく答えられる可能性がある。
LLMの階層構造を提案し、まず、正確な指示と正確な単語を階層的に生成し、次に、このプロンプトを用いてユーザクエリの最終回答を生成する。
論文 参考訳(メタデータ) (2024-05-30T17:05:45Z) - FLAP: Flow-Adhering Planning with Constrained Decoding in LLMs [7.008135803030462]
タスク指向対話(TOD)におけるエージェントにとって,計画は重要なタスクである
タスク指向対話(TOD)におけるエージェントにとって,計画は重要なタスクである
論文 参考訳(メタデータ) (2024-03-09T02:27:45Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Aligner: One Global Token is Worth Millions of Parameters When Aligning
Large Language Models [72.26732961610557]
私たちは小説『アリグナー』を紹介します。
マルチビリオンパラメータサイズ大言語モデル(LLM)の整列のためのPEFT法
Alignerは、数百万のパラメータを必要とするLoRAのような最先端のLLM適応手法に対して、相容れない性能を保てることを示す。
論文 参考訳(メタデータ) (2023-12-09T08:25:55Z) - Formally Specifying the High-Level Behavior of LLM-Based Agents [24.645319505305316]
LLMはタスク固有の微調整モデルを必要とせずに、課題を解決するための有望なツールとして登場した。
現在、このようなエージェントの設計と実装はアドホックであり、LLMベースのエージェントが自然に適用できる様々なタスクは、エージェント設計に一律に適合するアプローチが存在しないことを意味する。
エージェント構築のプロセスを簡単にする最小主義的生成フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-12T17:24:15Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - Recommender AI Agent: Integrating Large Language Models for Interactive
Recommendations [53.76682562935373]
我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。
InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
論文 参考訳(メタデータ) (2023-08-31T07:36:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。