論文の概要: One Size Does Not Fit All: Customizing Open-Domain Procedures
- arxiv url: http://arxiv.org/abs/2311.09510v2
- Date: Fri, 1 Mar 2024 16:04:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 20:11:58.239102
- Title: One Size Does Not Fit All: Customizing Open-Domain Procedures
- Title(参考訳): オープンドメインの手続きをカスタマイズする1つのサイズ
- Authors: Yash Kumar Lal and Li Zhang and Faeze Brahman and Bodhisattwa Prasad
Majumder and Peter Clark and Niket Tandon
- Abstract要約: 庭の植え方などのハウツー手順は、今や何百万人ものユーザーが利用している。
例えば、殺虫剤を使わずに庭を植えることなどである。
我々のゴールは、このようなカスタマイズを行うLLMの能力の測定と改善です。
- 参考スコア(独自算出の注目度): 37.93783597947141
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How-to procedures, such as how to plant a garden, are now used by millions of
users, but sometimes need customizing to meet a user's specific needs, e.g.,
planting a garden without pesticides. Our goal is to measure and improve an
LLM's ability to perform such customization. Our approach is to test several
simple multi-LLM-agent architectures for customization, as well as an
end-to-end LLM, using a new evaluation set, called CustomPlans, of over 200
WikiHow procedures each with a customization need. We find that a simple
architecture with two LLM agents used sequentially performs best, one that
edits a generic how-to procedure and one that verifies its executability,
significantly outperforming (10.5% absolute) an end-to-end prompted LLM. This
suggests that LLMs can be configured reasonably effectively for procedure
customization. This also suggests that multi-agent editing architectures may be
worth exploring further for other customization applications (e.g. coding,
creative writing) in the future.
- Abstract(参考訳): 庭を植える方法のようなハウツー手順は、今や何百万ものユーザーが使っているが、例えば農薬なしで庭を植えるなど、ユーザーの特定のニーズを満たすためにカスタマイズする必要がある場合もある。
我々のゴールは、このようなカスタマイズを行うLLMの能力の測定と改善です。
我々のアプローチは、カスタマイズに必要な200以上のWikiHowプロシージャのCustomPlansと呼ばれる新しい評価セットを使用して、カスタマイズのためのシンプルなマルチLLMエージェントアーキテクチャとエンドツーエンドのLCMをテストすることである。
2つのLLMエージェントが連続的に使用される単純なアーキテクチャは、一般的なハウツープロシージャを編集するアーキテクチャと、その実行可能性を検証するアーキテクチャとで、エンドツーエンドのLLMを著しく上回る(10.5%)。
このことから, LLM はプロシージャのカスタマイズに合理的に設定可能であることが示唆された。
これはまた、マルチエージェント編集アーキテクチャが将来他のカスタマイズアプリケーション(例えば、コーディング、クリエイティブな書き込み)のためにさらに探究する価値があることを示唆している。
関連論文リスト
- FLAP: Flow-Adhering Planning with Constrained Decoding in LLMs [7.008135803030462]
タスク指向対話(TOD)におけるエージェントにとって,計画は重要なタスクである
タスク指向対話(TOD)におけるエージェントにとって,計画は重要なタスクである
論文 参考訳(メタデータ) (2024-03-09T02:27:45Z) - PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Preference Alignment [20.0605311279483]
与えられたタスクに対して,大きな言語モデル(LLM)に最適なプロンプトを見つけるための新しいフレームワークを導入する。
我々は、プロンプト候補から効率的にサンプリングするために、プロンプト性能を予測する余分な学習モデルを使用する。
このアプローチは、人間工学的なプロンプトと、11の代表的なマルチステップタスクにまたがる他のプロンプト最適化手法の両方を著しく上回っている。
論文 参考訳(メタデータ) (2024-02-13T16:38:01Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Aligner: One Global Token is Worth Millions of Parameters When Aligning
Large Language Models [72.26732961610557]
私たちは小説『アリグナー』を紹介します。
マルチビリオンパラメータサイズ大言語モデル(LLM)の整列のためのPEFT法
Alignerは、数百万のパラメータを必要とするLoRAのような最先端のLLM適応手法に対して、相容れない性能を保てることを示す。
論文 参考訳(メタデータ) (2023-12-09T08:25:55Z) - Formally Specifying the High-Level Behavior of LLM-Based Agents [24.645319505305316]
LLMはタスク固有の微調整モデルを必要とせずに、課題を解決するための有望なツールとして登場した。
現在、このようなエージェントの設計と実装はアドホックであり、LLMベースのエージェントが自然に適用できる様々なタスクは、エージェント設計に一律に適合するアプローチが存在しないことを意味する。
エージェント構築のプロセスを簡単にする最小主義的生成フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-12T17:24:15Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - Recommender AI Agent: Integrating Large Language Models for Interactive
Recommendations [53.76682562935373]
我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。
InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
論文 参考訳(メタデータ) (2023-08-31T07:36:44Z) - A Unified and Efficient Coordinating Framework for Autonomous DBMS
Tuning [34.85351481228439]
既存のMLベースのエージェントを効率的に活用するための統合コーディネートフレームワークを提案する。
機械学習ベースのエージェントを効果的に利用し、ワークロードの実行時間に1.414.1Xのスピードアップでより良い設定を実現できることを示す。
論文 参考訳(メタデータ) (2023-03-10T05:27:23Z) - Multi-Agent Reinforcement Learning for Microprocessor Design Space
Exploration [71.95914457415624]
マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。
この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。
評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
論文 参考訳(メタデータ) (2022-11-29T17:10:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。