論文の概要: API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs

• arxiv url: http://arxiv.org/abs/2402.15491v1
• Date: Fri, 23 Feb 2024 18:30:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 13:43:45.900720
• Title: API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs
• Title（参考訳）: API-BLEND: API LLMのトレーニングとベンチマークのための総合コーパス
• Authors: Kinjal Basu, Ibrahim Abdelaziz, Subhajit Chaudhury, Soham Dan, Maxwell Crouse, Asim Munawar, Sadhana Kumaravel, Vinod Muthusamy, Pavan Kapanipathi, Luis A. Lastras
• Abstract要約: 既存のデータセットを特定し、キュレーションし、変換するタスクに重点を置いています。 ツール拡張LDMのトレーニングと体系的なテストを行うための大規模なコーパスであるAPI-BLENDを紹介する。 トレーニングとベンチマークの両方の目的で,API-BLENDデータセットの有用性を実証する。
• 参考スコア（独自算出の注目度）: 29.79981259806772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a growing need for Large Language Models (LLMs) to effectively use tools and external Application Programming Interfaces (APIs) to plan and complete tasks. As such, there is tremendous interest in methods that can acquire sufficient quantities of train and test data that involve calls to tools / APIs. Two lines of research have emerged as the predominant strategies for addressing this challenge. The first has focused on synthetic data generation techniques, while the second has involved curating task-adjacent datasets which can be transformed into API / Tool-based tasks. In this paper, we focus on the task of identifying, curating, and transforming existing datasets and, in turn, introduce API-BLEND, a large corpora for training and systematic testing of tool-augmented LLMs. The datasets mimic real-world scenarios involving API-tasks such as API / tool detection, slot filling, and sequencing of the detected APIs. We demonstrate the utility of the API-BLEND dataset for both training and benchmarking purposes.
• Abstract（参考訳）: ツールと外部アプリケーションプログラミングインターフェース(API)を効果的に利用し、タスクを計画し、完成させるために、LLM(Large Language Models)の必要性はますます高まっている。 そのため、ツールやAPIへの呼び出しを含む十分な量のトレインデータやテストデータを取得する方法には、非常に関心があります。 この課題に対処するための主要な戦略として、2つの研究線が生まれている。 ひとつは合成データ生成技術、もうひとつはapi/ツールベースのタスクに変換可能なタスクに隣接したデータセットのキュレーションに関するものだ。 本稿では,既存のデータセットを特定し,キュレートし,変換するタスクに着目し,ツール拡張LDMのトレーニングと体系的なテストを行うための大規模なコーパスであるAPI-BLENDを導入する。 データセットは、API/ツール検出、スロットフィリング、検出されたAPIのシークエンシングといったAPIタスクを含む現実のシナリオを模倣する。 トレーニングとベンチマークのためのAPI-BLENDデータセットの有用性を実証する。

関連論文リスト

• Demystifying Application Programming Interfaces (APIs): Unlocking the Power of Large Language Models and Other Web-based AI Services in Social Work Research [0.0]
  アプリケーションプログラミングインタフェース(API)は、大規模言語モデル(LLM)やその他のAIサービスといった高度な技術を活用することを目的とした、ソーシャルワーク研究者にとって不可欠なツールである。 本稿では、APIをデミステレーションし、研究方法論をいかに拡張できるかを説明する。 実際のコード例は、構造化されていないテキストからデータを抽出するなど、LLMが特別なサービスにアクセスするためのAPIコードを生成する方法を示している。
  論文  参考訳（メタデータ） (2024-10-26T16:07:12Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• Octopus: On-device language model for function calling of software APIs [9.78611123915888]
  大きな言語モデル(LLM)は、高度なテキスト処理と生成能力のために重要な役割を果たす。 本研究は,ソフトウェアAPIの起動において,デバイス上でのLCMを活用するための新たな戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-02T01:29:28Z)
• From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs [62.496139001509114]
  大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。 このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。 ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2024-02-28T08:42:23Z)
• TPTU-v2: Boosting Task Planning and Tool Usage of Large Language Model-based Agents in Real-world Systems [25.854559300612184]
  本稿では,大規模言語モデル(LLM)のタスク計画・ツール利用(TPTU)能力の向上を目的とした包括的フレームワークを提案する。 このフレームワークは、これらの課題に対処するために設計された3つの重要なコンポーネントで構成されている。(1) API Retrieverは、利用可能な広範囲な配列の中で、ユーザタスクに最も関連するAPIを選択し、(2) LLM Finetunerは、タスク計画とAPI呼び出しにより適するように、ベースLSMをチューニングし、(3)Demo Selectorは、難しいAPIに関連するさまざまなデモを適応的に検索する。
  論文  参考訳（メタデータ） (2023-11-19T12:37:30Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs [104.37772295581088]
  オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。 データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。 ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
  論文  参考訳（メタデータ） (2023-07-31T15:56:53Z)
• Learning to Learn from APIs: Black-Box Data-Free Meta-Learning [95.41441357931397]
  データフリーなメタラーニング(DFML)は、トレーニングデータにアクセスせずに事前訓練されたモデルの集合からメタラーニングすることで、新しいタスクの効率的な学習を可能にすることを目的としている。 既存のDFMLの作業は、(i)ホワイトボックスと(ii)小規模事前訓練モデルからしかメタ学習できない。 ブラックボックスAPIの集合から単一のモデルへ,より一般的なメタ知識を伝達するための,バイレベルデータフリーなメタ知識蒸留(BiDf-MKD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-28T18:00:12Z)
• API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs [84.45284695156771]
  API-Bankは、ツール強化された大規模言語モデルのための画期的なベンチマークである。 73のAPIツールからなる実行評価システムを開発した。 我々は、1,000の異なるドメインにまたがる2,138のAPIから1,888のツール使用対話を含む総合的なトレーニングセットを構築した。
  論文  参考訳（メタデータ） (2023-04-14T14:05:32Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。