論文の概要: ToolFactory: Automating Tool Generation by Leveraging LLM to Understand REST API Documentations
- arxiv url: http://arxiv.org/abs/2501.16945v1
- Date: Tue, 28 Jan 2025 13:42:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-29 16:43:20.653146
- Title: ToolFactory: Automating Tool Generation by Leveraging LLM to Understand REST API Documentations
- Title（参考訳）: ToolFactory: LLMを活用してツール生成を自動化してREST APIドキュメンテーションを理解
- Authors: Xinyi Ni, Qiuyang Wang, Yukun Zhang, Pengyu Hong,
- Abstract要約: APIドキュメントは、標準化、一貫性のないスキーマ、不完全な情報の欠如に悩まされることが多い。
textbfToolFactoryは、構造化されていないAPIドキュメントからツール生成を自動化するオープンソースのパイプラインである。
また,グリコマテリアル研究のためのドメイン固有のAIエージェントを作成することで,ToolFactoryを実証した。
- 参考スコア（独自算出の注目度）: 4.934192277899036
- License:
- Abstract: LLM-based tool agents offer natural language interfaces, enabling users to seamlessly interact with computing services. While REST APIs are valuable resources for building such agents, they must first be transformed into AI-compatible tools. Automatically generating AI-compatible tools from REST API documents can greatly streamline tool agent development and minimize user learning curves. However, API documentation often suffers from a lack of standardization, inconsistent schemas, and incomplete information. To address these issues, we developed \textbf{ToolFactory}, an open-source pipeline for automating tool generation from unstructured API documents. To enhance the reliability of the developed tools, we implemented an evaluation method to diagnose errors. Furthermore, we built a knowledge base of verified tools, which we leveraged to infer missing information from poorly documented APIs. We developed the API Extraction Benchmark, comprising 167 API documents and 744 endpoints in various formats, and designed a JSON schema to annotate them. This annotated dataset was utilized to train and validate ToolFactory. The experimental results highlight the effectiveness of ToolFactory. We also demonstrated ToolFactory by creating a domain-specific AI agent for glycomaterials research. ToolFactory exhibits significant potential for facilitating the seamless integration of scientific REST APIs into AI workflows.
- Abstract（参考訳）: LLMベースのツールエージェントは自然言語インタフェースを提供し、ユーザーはコンピュータサービスとシームレスに対話できる。
REST APIはそのようなエージェントを構築する上で貴重なリソースだが、まずはAI互換のツールに変換する必要がある。
REST APIドキュメントからAI互換ツールを自動的に生成することで、ツールエージェントの開発を大幅に効率化し、ユーザ学習曲線を最小化できます。
しかし、APIドキュメントは、標準化、一貫性のないスキーマ、不完全な情報の欠如に悩まされることが多い。
これらの問題に対処するため,構造化されていないAPIドキュメントからツール生成を自動化するオープンソースのパイプラインである‘textbf{ToolFactory} を開発した。
開発したツールの信頼性を高めるために,エラーを診断するための評価手法を実装した。
さらに、検証ツールの知識ベースを構築して、不十分なドキュメント化されたAPIから不足した情報を推測しました。
我々はAPI抽出ベンチマークを開発し、167のAPIドキュメントと744のエンドポイントをさまざまなフォーマットで構成し、アノテートするためのJSONスキーマを設計した。
このアノテーション付きデータセットを使用して、ToolFactoryをトレーニングし、検証した。
実験結果はToolFactoryの有効性を強調している。
また,グリコマテリアル研究のためのドメイン固有のAIエージェントを作成することで,ToolFactoryを実証した。
ToolFactoryは、科学的なREST APIをAIワークフローにシームレスに統合する上で、大きな可能性を秘めている。
関連論文リスト
- APITestGenie: Automated API Test Generation through Generative AI [2.0716352593701277]
APITestGenieはビジネス要件とAPI仕様から実行可能なAPIテストスクリプトを生成する。
10の現実世界のAPIを使った実験では、ツールが有効なテストスクリプトを57%生成した。
人間の介入は、CI/CDパイプラインに統合される前に生成されたスクリプトを検証または洗練するために推奨される。
論文 参考訳（メタデータ） (2024-09-05T18:02:41Z) - Efficient and Scalable Estimation of Tool Representations in Vector Space [34.767193045989515]
ツール検索のための合成データを生成するためのフレームワークと,小型エンコーダモデルを用いた効率的なデータ駆動型ツール検索戦略を提案する。
ToolBankは、実際のユーザ利用を反映した、新しいツール検索データセットです。
これらの新しい方法により、ToolBenchデータセット上のRecall@Kで最大27.28、ToolBank上のRecall@Kで30.5の改善を実現しています。
論文 参考訳（メタデータ） (2024-09-02T19:39:24Z) - ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。
我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
論文 参考訳（メタデータ） (2024-09-02T03:19:56Z) - Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。
我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。
Ask-when-Needed (AwN) という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-31T23:06:12Z) - StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models [74.88844320554284]
ToolBenchから進化したベンチマークであるStableToolBenchを紹介します。
仮想APIサーバには、キャッシングシステムとAPIシミュレータが含まれており、APIステータスの変更を緩和するための補完となる。
安定評価システムは、GPT-4を自動評価器として使用し、評価中のランダム性を排除し、解決可能なパスと勝利率を設計する。
論文 参考訳（メタデータ） (2024-03-12T14:57:40Z) - API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs [28.840207102132286]
既存のデータセットを特定し、キュレーションし、変換するタスクに重点を置いています。
ツール拡張LDMのトレーニングと体系的なテストを行うための大規模なコーパスであるAPI-BLENDを紹介する。
トレーニングとベンチマークの両方の目的で,API-BLENDデータセットの有用性を実証する。
論文 参考訳（メタデータ） (2024-02-23T18:30:49Z) - EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。
トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2024-01-11T15:45:11Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳（メタデータ） (2023-09-29T17:40:26Z) - ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world
APIs [104.37772295581088]
オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。
データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。
ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
論文 参考訳（メタデータ） (2023-07-31T15:56:53Z) - ToolCoder: Teach Code Generation Models to use API search tools [44.370920906850024]
コード生成とAPI選択を支援するために,既存のモデルにAPI検索ツールを統合する新しいアプローチであるToolCoderを提案する。
実験の結果,ToolCoderは,公開およびプライベートの5つのライブラリコード生成ベンチマークにおいて,優れたパフォーマンスと一般化を示すことがわかった。
論文 参考訳（メタデータ） (2023-05-06T12:45:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。