論文の概要: CallNavi: A Study and Challenge on Function Calling Routing and Invocation in Large Language Models

• arxiv url: http://arxiv.org/abs/2501.05255v1
• Date: Thu, 09 Jan 2025 14:12:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 17:34:41.514285
• Title: CallNavi: A Study and Challenge on Function Calling Routing and Invocation in Large Language Models
• Title（参考訳）: CallNavi: 大規模言語モデルにおけるルーティングと呼び出し機能の検討と課題
• Authors: Yewei Song, Cedric Lothritz, Xunzhu Tang, Saad Ezzini, Jacques Klein, Tegawendé F. Bissyandé, Andrey Boytsov, Ulrick Ble, Anne Goujon,
• Abstract要約: API関数の選択、パラメータ生成、ネストAPI呼び出しのモデルを評価するために設計された新しいデータセットを提案する。 また,API選択のための汎用大規模言語モデルとパラメータ生成のための微調整モデルと,いくつかの迅速なエンジニアリングアプローチを組み合わせた拡張型APIルーティング手法を提案する。
• 参考スコア（独自算出の注目度）: 7.443502461016052
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Interacting with a software system via a chatbot can be challenging, especially when the chatbot needs to generate API calls, in the right order and with the right parameters, to communicate with the system. API calling in chatbot systems poses significant challenges, particularly in complex, multi-step tasks requiring accurate API selection and execution. We contribute to this domain in three ways: first, by introducing a novel dataset designed to assess models on API function selection, parameter generation, and nested API calls; second, by benchmarking state-of-the-art language models across varying levels of complexity to evaluate their performance in API function generation and parameter accuracy; and third, by proposing an enhanced API routing method that combines general-purpose large language models for API selection with fine-tuned models for parameter generation and some prompt engineering approach. These approaches lead to substantial improvements in handling complex API tasks, offering practical advancements for real-world API-driven chatbot systems.
• Abstract（参考訳）: チャットボットを介してソフトウェアシステムと対話することは、特にチャットボットがシステムと通信するために、適切な順番で適切なパラメータでAPIコールを生成する必要がある場合、難しい可能性がある。 チャットボットシステムにおけるAPI呼び出しは、特に、正確なAPI選択と実行を必要とする複雑なマルチステップタスクにおいて、重大な課題を引き起こす。 第一に、API関数の選択、パラメータ生成、ネストされたAPI呼び出しに関するモデルを評価するために設計された新しいデータセットの導入、第二に、API関数の生成とパラメータの正確性において、そのパフォーマンスを評価するためのさまざまなレベルの複雑さをベンチマークすることで、第三に、API選択のための汎用的な大規模言語モデルとパラメータ生成のための微調整されたモデルと、いくつかの迅速なエンジニアリングアプローチを組み合わせた、拡張されたAPIルーティング手法を提案する。 これらのアプローチは、複雑なAPIタスクの処理を大幅に改善し、現実世界のAPI駆動型チャットボットシステムに実用的な進歩をもたらす。

関連論文リスト

• Seq2Seq Model-Based Chatbot with LSTM and Attention Mechanism for Enhanced User Interaction [1.937324318931008]
  本研究では、注意機構とLong Short-Term Memory(LSTM)セルを組み込んだエンコーダデコーダアーキテクチャを備えたSeq2Seqモデルを提案する。 提案されているSeq2Seqモデルベースのロボットは、モロッコのドラア・タフィラレ(Draa-Tafilalet)にある観光セクター向けのデータセットで訓練され、検証され、テストされている。
  論文  参考訳（メタデータ） (2024-12-27T23:50:54Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• Demystifying Application Programming Interfaces (APIs): Unlocking the Power of Large Language Models and Other Web-based AI Services in Social Work Research [0.0]
  アプリケーションプログラミングインタフェース(API)は、大規模言語モデル(LLM)やその他のAIサービスといった高度な技術を活用することを目的とした、ソーシャルワーク研究者にとって不可欠なツールである。 本稿では、APIをデミステレーションし、研究方法論をいかに拡張できるかを説明する。 実際のコード例は、構造化されていないテキストからデータを抽出するなど、LLMが特別なサービスにアクセスするためのAPIコードを生成する方法を示している。
  論文  参考訳（メタデータ） (2024-10-26T16:07:12Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• ShortcutsBench: A Large-Scale Real-world Benchmark for API-based Agents [7.166156709980112]
  我々は、APIベースのエージェントの包括的な評価のための大規模なベンチマークであるtextscShortcutsBenchを紹介する。 textscShortcutsBenchには、Apple Inc.のオペレーティングシステムから多くの真のAPIが含まれている。 評価の結果,APIの選択やパラメータの充足,システムやユーザからの必要な情報要求など,複雑なクエリを扱う上での重大な制限が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T08:45:02Z)
• Semantic API Alignment: Linking High-level User Goals to APIs [6.494714497852088]
  既存のライブラリを使った要件エンジニアリングから実装まで,複数のステップにまたがるビジョンを提示する。 このアプローチは、セマンティックAPIアライメント(SEAL)と呼ばれ、ユーザの高レベルな目標と1つ以上のAPIの特定の機能とのギャップを埋めることを目的としています。
  論文  参考訳（メタデータ） (2024-05-07T11:54:32Z)
• Octopus: On-device language model for function calling of software APIs [9.78611123915888]
  大きな言語モデル(LLM)は、高度なテキスト処理と生成能力のために重要な役割を果たす。 本研究は,ソフトウェアAPIの起動において,デバイス上でのLCMを活用するための新たな戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-02T01:29:28Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)
• Enhancing API Documentation through BERTopic Modeling and Summarization [0.0]
  本稿では、アプリケーションプログラミングインタフェース(API)ドキュメントの解釈の複雑さに焦点を当てる。 公式APIドキュメンテーションは、開発者にとって最も重要な情報ソースであるが、広くなり、ユーザフレンドリ性に欠けることが多い。 我々の新しいアプローチは、トピックモデリングと自然言語処理(NLP)にBERTopicの長所を利用して、APIドキュメントの要約を自動的に生成する。
  論文  参考訳（メタデータ） (2023-08-17T15:57:12Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data [101.63682141248069]
  ChatGPTのようなチャットモデルは印象的な機能を示しており、多くのドメインで急速に採用されている。 本稿では,ChatGPTを利用して,高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。 我々は,オープンソースの大規模言語モデルであるLLaMAを強化するために,パラメータ効率のチューニングを用いる。
  論文  参考訳（メタデータ） (2023-04-03T17:59:09Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。