論文の概要: CallNavi: A Study and Challenge on Function Calling Routing and Invocation in Large Language Models

• arxiv url: http://arxiv.org/abs/2501.05255v1
• Date: Thu, 09 Jan 2025 14:12:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:54.669715
• Title: CallNavi: A Study and Challenge on Function Calling Routing and Invocation in Large Language Models
• Title（参考訳）: CallNavi: 大規模言語モデルにおけるルーティングと呼び出し機能の検討と課題
• Authors: Yewei Song, Cedric Lothritz, Xunzhu Tang, Saad Ezzini, Jacques Klein, Tegawendé F. Bissyandé, Andrey Boytsov, Ulrick Ble, Anne Goujon,
• Abstract要約: API関数の選択、パラメータ生成、ネストAPI呼び出しのモデルを評価するために設計された新しいデータセットを提案する。 また,API選択のための汎用大規模言語モデルとパラメータ生成のための微調整モデルと,いくつかの迅速なエンジニアリングアプローチを組み合わせた拡張型APIルーティング手法を提案する。
• 参考スコア（独自算出の注目度）: 7.443502461016052
• License:
• Abstract: Interacting with a software system via a chatbot can be challenging, especially when the chatbot needs to generate API calls, in the right order and with the right parameters, to communicate with the system. API calling in chatbot systems poses significant challenges, particularly in complex, multi-step tasks requiring accurate API selection and execution. We contribute to this domain in three ways: first, by introducing a novel dataset designed to assess models on API function selection, parameter generation, and nested API calls; second, by benchmarking state-of-the-art language models across varying levels of complexity to evaluate their performance in API function generation and parameter accuracy; and third, by proposing an enhanced API routing method that combines general-purpose large language models for API selection with fine-tuned models for parameter generation and some prompt engineering approach. These approaches lead to substantial improvements in handling complex API tasks, offering practical advancements for real-world API-driven chatbot systems.
• Abstract（参考訳）: チャットボットを介してソフトウェアシステムと対話することは、特にチャットボットがシステムと通信するために、適切な順番で適切なパラメータでAPIコールを生成する必要がある場合、難しい可能性がある。 チャットボットシステムにおけるAPI呼び出しは、特に、正確なAPI選択と実行を必要とする複雑なマルチステップタスクにおいて、重大な課題を引き起こす。 第一に、API関数の選択、パラメータ生成、ネストされたAPI呼び出しに関するモデルを評価するために設計された新しいデータセットの導入、第二に、API関数の生成とパラメータの正確性において、そのパフォーマンスを評価するためのさまざまなレベルの複雑さをベンチマークすることで、第三に、API選択のための汎用的な大規模言語モデルとパラメータ生成のための微調整されたモデルと、いくつかの迅速なエンジニアリングアプローチを組み合わせた、拡張されたAPIルーティング手法を提案する。 これらのアプローチは、複雑なAPIタスクの処理を大幅に改善し、現実世界のAPI駆動型チャットボットシステムに実用的な進歩をもたらす。

関連論文リスト

• A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
  API提案は、現代のソフトウェア開発において重要なタスクである。 大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
  論文  参考訳（メタデータ） (2024-09-20T03:12:35Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• ShortcutsBench: A Large-Scale Real-world Benchmark for API-based Agents [7.166156709980112]
  我々は、APIベースのエージェントの包括的な評価のための大規模なベンチマークであるtextscShortcutsBenchを紹介する。 textscShortcutsBenchには、Apple Inc.のオペレーティングシステムから多くの真のAPIが含まれている。 評価の結果,APIの選択やパラメータの充足,システムやユーザからの必要な情報要求など,複雑なクエリを扱う上での重大な制限が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T08:45:02Z)
• Semantic API Alignment: Linking High-level User Goals to APIs [6.494714497852088]
  既存のライブラリを使った要件エンジニアリングから実装まで,複数のステップにまたがるビジョンを提示する。 このアプローチは、セマンティックAPIアライメント(SEAL)と呼ばれ、ユーザの高レベルな目標と1つ以上のAPIの特定の機能とのギャップを埋めることを目的としています。
  論文  参考訳（メタデータ） (2024-05-07T11:54:32Z)
• Octopus: On-device language model for function calling of software APIs [9.78611123915888]
  大きな言語モデル(LLM)は、高度なテキスト処理と生成能力のために重要な役割を果たす。 本研究は,ソフトウェアAPIの起動において,デバイス上でのLCMを活用するための新たな戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-02T01:29:28Z)
• AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
  本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。 本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。 このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
  論文  参考訳（メタデータ） (2023-05-04T02:09:43Z)
• Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data [101.63682141248069]
  ChatGPTのようなチャットモデルは印象的な機能を示しており、多くのドメインで急速に採用されている。 本稿では,ChatGPTを利用して,高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。 我々は,オープンソースの大規模言語モデルであるLLaMAを強化するために,パラメータ効率のチューニングを用いる。
  論文  参考訳（メタデータ） (2023-04-03T17:59:09Z)
• Natural Language Sentence Generation from API Specifications [5.192671914929481]
  本稿では,意図認識モデルを訓練するための文を生成するシステムを提案する。 ヒューマン・イン・ザ・ループのインタラクションはシステムにさらなる改善をもたらすだろう。
  論文  参考訳（メタデータ） (2022-06-01T15:50:14Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)
• Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems [74.8759568242933]
  タスク指向対話システムは、自然言語理解(NLU)、対話状態追跡(DST)、対話ポリシー(DP)、自然言語生成(NLG)の4つの連結モジュールを使用する。 研究課題は、データ収集に関連する高コストから最小限のサンプルで各モジュールを学習することである。 我々は,NLU,DP,NLGタスクにおいて,言語モデルの素小ショット能力を評価する。
  論文  参考訳（メタデータ） (2020-08-14T08:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。