論文の概要: RestGPT: Connecting Large Language Models with Real-World RESTful APIs

• arxiv url: http://arxiv.org/abs/2306.06624v2
• Date: Sun, 27 Aug 2023 02:55:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 23:24:17.534090
• Title: RestGPT: Connecting Large Language Models with Real-World RESTful APIs
• Title（参考訳）: RestGPT: 大規模言語モデルを現実世界のRESTful APIで接続する
• Authors: Yifan Song, Weimin Xiong, Dawei Zhu, Wenhao Wu, Han Qian, Mingbo Song, Hailiang Huang, Cheng Li, Ke Wang, Rong Yao, Ye Tian, Sujian Li
• Abstract要約: ツール強化された大規模言語モデル(LLM)は、幅広いタスクに対処する上で、目覚ましい進歩を遂げている。 複雑な命令に対処する実践的な課題に対処するために,ロバストネスの力を利用するRestGPTを提案する。 RestGPTを十分に評価するために,実世界の2つのシナリオと人手による指示からなる高品質なベンチマークであるRestBenchを提案する。
• 参考スコア（独自算出の注目度）: 44.94234920380684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-augmented large language models (LLMs) have achieved remarkable progress in tackling a broad range of tasks. However, existing methods are mainly restricted to specifically designed tools and fail to fulfill complex instructions, having great limitations when confronted with real-world scenarios. In this paper, we explore a more realistic scenario by connecting LLMs with RESTful APIs, which adhere to the widely adopted REST software architectural style for web service development. To address the practical challenges of tackling complex instructions, we propose RestGPT, which exploits the power of LLMs and conducts a coarse-to-fine online planning mechanism to enhance the abilities of task decomposition and API selection. RestGPT also contains an API executor tailored for calling RESTful APIs, which can meticulously formulate parameters and parse API responses. To fully evaluate the performance of RestGPT, we propose RestBench, a high-quality benchmark which consists of two real-world scenarios and human-annotated instructions with gold solution paths. Experiments show that RestGPT is able to achieve impressive results in complex tasks and has strong robustness, which paves a new way towards AGI. RestGPT and RestBench is publicly available at https://restgpt.github.io/.
• Abstract（参考訳）: ツール強化された大規模言語モデル(LLM)は、幅広いタスクに対処する上で大きな進歩を遂げた。 しかし、既存の手法は主に特別に設計されたツールに限られており、現実のシナリオに直面すると大きな制限がある複雑な命令を満たせない。 本稿では、webサービス開発で広く採用されているrestソフトウェアアーキテクチャスタイルに準拠した、llmとrestful apiを接続することにより、より現実的なシナリオを探求する。 複雑な命令に対処する実践的な課題に対処するため,LLMのパワーを活用し,タスク分解とAPI選択の能力を高めるための粗大なオンライン計画機構を運用するRestGPTを提案する。 RestGPTにはRESTful APIを呼び出すためのAPIエグゼクタも含まれている。 restgptのパフォーマンスを十分に評価するために、実世界の2つのシナリオと、金のソリューションパスを持つ人間による指示からなる高品質なベンチマークであるrestbenchを提案する。 実験により、RestGPTは複雑なタスクにおいて印象的な結果を得ることができ、強い堅牢性を持ち、AGIへの新たな道を開くことが示されている。 RestGPTとRestBenchはhttps://restgpt.github.io/で公開されている。

関連論文リスト

• SEAL: Suite for Evaluating API-use of LLMs [1.2528321519119252]
  SEALは、現実世界のAPI使用時に大きな言語モデルを評価するように設計されたエンドツーエンドのテストベッドである。 既存のベンチマークを標準化し、API検索と計画をテストするエージェントシステムを統合し、リアルタイムAPIの不安定性に対処する。
  論文  参考訳（メタデータ） (2024-09-23T20:16:49Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• ShortcutsBench: A Large-Scale Real-world Benchmark for API-based Agents [7.166156709980112]
  我々は、APIベースのエージェントの包括的な評価のための大規模なベンチマークであるtextscShortcutsBenchを紹介する。 textscShortcutsBenchには、Apple Inc.のオペレーティングシステムから多くの真のAPIが含まれている。 評価の結果,APIの選択やパラメータの充足,システムやユーザからの必要な情報要求など,複雑なクエリを扱う上での重大な制限が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T08:45:02Z)
• You Can REST Now: Automated Specification Inference and Black-Box Testing of RESTful APIs with Large Language Models [8.753312212588371]
  APIを手動でドキュメンテーションすることは、時間がかかり、エラーを起こしやすいタスクであり、その結果、利用できない、不完全な、あるいは不正確なドキュメントになります。 近年,Large Language Models (LLMs) は,その余分なトレーニングデータに基づいてタスクを自動化できることを実証している。 私たちは、最初の自動API仕様推論とブラックボックステストアプローチであるRESTSpecITを紹介します。
  論文  参考訳（メタデータ） (2024-02-07T18:55:41Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)
• ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs [104.37772295581088]
  オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。 データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。 ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
  論文  参考訳（メタデータ） (2023-07-31T15:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。