論文の概要: CallNavi, A Challenge and Empirical Study on LLM Function Calling and Routing

• arxiv url: http://arxiv.org/abs/2501.05255v2
• Date: Thu, 24 Apr 2025 15:43:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-25 21:09:46.437716
• Title: CallNavi, A Challenge and Empirical Study on LLM Function Calling and Routing
• Title（参考訳）: CallNavi, LLM関数の呼び出しとルーティングに関する挑戦と実証的研究
• Authors: Yewei Song, Xunzhu Tang, Cedric Lothritz, Saad Ezzini, Jacques Klein, Tegawendé F. Bissyandé, Andrey Boytsov, Ulrick Ble, Anne Goujon,
• Abstract要約: この研究は、AIベースのソフトウェア開発の評価と評価に貢献する。 API関数の選択、パラメータ生成、ネストされたAPI実行のために特別に設計された新しいベンチマーク。 最先端言語モデルの実証評価とその性能解析 APIルーティングに対するハイブリッドアプローチは、API選択のための汎用的な大規模言語モデルと、微調整されたモデルと、迅速なエンジニアリングを組み合わせたものだ。
• 参考スコア（独自算出の注目度）: 7.443502461016052
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: API-driven chatbot systems are increasingly integral to software engineering applications, yet their effectiveness hinges on accurately generating and executing API calls. This is particularly challenging in scenarios requiring multi-step interactions with complex parameterization and nested API dependencies. Addressing these challenges, this work contributes to the evaluation and assessment of AI-based software development through three key advancements: (1) the introduction of a novel dataset specifically designed for benchmarking API function selection, parameter generation, and nested API execution; (2) an empirical evaluation of state-of-the-art language models, analyzing their performance across varying task complexities in API function generation and parameter accuracy; and (3) a hybrid approach to API routing, combining general-purpose large language models for API selection with fine-tuned models and prompt engineering for parameter generation. These innovations significantly improve API execution in chatbot systems, offering practical methodologies for enhancing software design, testing, and operational workflows in real-world software engineering contexts.
• Abstract（参考訳）: API駆動のチャットボットシステムは、ソフトウェアエンジニアリングアプリケーションにとってますます不可欠なものになっているが、その有効性は、API呼び出しを正確に生成し実行することに集中している。 これは複雑なパラメータ化とネストされたAPI依存関係とのマルチステップのインタラクションを必要とするシナリオでは特に難しい。 これらの課題に対処するため,本研究は,(1)API関数の選択,パラメータ生成,ネストしたAPI実行のベンチマークに特化して設計された,新しいデータセットの導入,(2)最先端言語モデルの実証評価,API関数の生成とパラメータ精度のさまざまなタスク複雑度にわたるパフォーマンス解析,(3)APIルーティングに対するハイブリッドアプローチ,(3)細調整モデルとAPI選択のための汎用大規模言語モデルを組み合わせたパラメータ生成の促進,という3つの重要な進歩を通じて,AIベースのソフトウェア開発の評価と評価に寄与する。 これらのイノベーションはチャットボットシステムのAPI実行を大幅に改善し、現実世界のソフトウェアエンジニアリングコンテキストにおけるソフトウェア設計、テスト、運用ワークフローを強化するための実践的な方法論を提供する。

関連論文リスト

• Seq2Seq Model-Based Chatbot with LSTM and Attention Mechanism for Enhanced User Interaction [1.937324318931008]
  本研究では、注意機構とLong Short-Term Memory(LSTM)セルを組み込んだエンコーダデコーダアーキテクチャを備えたSeq2Seqモデルを提案する。 提案されているSeq2Seqモデルベースのロボットは、モロッコのドラア・タフィラレ(Draa-Tafilalet)にある観光セクター向けのデータセットで訓練され、検証され、テストされている。
  論文  参考訳（メタデータ） (2024-12-27T23:50:54Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• Demystifying Application Programming Interfaces (APIs): Unlocking the Power of Large Language Models and Other Web-based AI Services in Social Work Research [0.0]
  アプリケーションプログラミングインタフェース(API)は、大規模言語モデル(LLM)やその他のAIサービスといった高度な技術を活用することを目的とした、ソーシャルワーク研究者にとって不可欠なツールである。 本稿では、APIをデミステレーションし、研究方法論をいかに拡張できるかを説明する。 実際のコード例は、構造化されていないテキストからデータを抽出するなど、LLMが特別なサービスにアクセスするためのAPIコードを生成する方法を示している。
  論文  参考訳（メタデータ） (2024-10-26T16:07:12Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• ShortcutsBench: A Large-Scale Real-world Benchmark for API-based Agents [7.166156709980112]
  我々は、APIベースのエージェントの包括的な評価のための大規模なベンチマークであるtextscShortcutsBenchを紹介する。 textscShortcutsBenchには、Apple Inc.のオペレーティングシステムから多くの真のAPIが含まれている。 評価の結果,APIの選択やパラメータの充足,システムやユーザからの必要な情報要求など,複雑なクエリを扱う上での重大な制限が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T08:45:02Z)
• Semantic API Alignment: Linking High-level User Goals to APIs [6.494714497852088]
  既存のライブラリを使った要件エンジニアリングから実装まで,複数のステップにまたがるビジョンを提示する。 このアプローチは、セマンティックAPIアライメント(SEAL)と呼ばれ、ユーザの高レベルな目標と1つ以上のAPIの特定の機能とのギャップを埋めることを目的としています。
  論文  参考訳（メタデータ） (2024-05-07T11:54:32Z)
• Octopus: On-device language model for function calling of software APIs [9.78611123915888]
  大きな言語モデル(LLM)は、高度なテキスト処理と生成能力のために重要な役割を果たす。 本研究は,ソフトウェアAPIの起動において,デバイス上でのLCMを活用するための新たな戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-02T01:29:28Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)
• Enhancing API Documentation through BERTopic Modeling and Summarization [0.0]
  本稿では、アプリケーションプログラミングインタフェース(API)ドキュメントの解釈の複雑さに焦点を当てる。 公式APIドキュメンテーションは、開発者にとって最も重要な情報ソースであるが、広くなり、ユーザフレンドリ性に欠けることが多い。 我々の新しいアプローチは、トピックモデリングと自然言語処理(NLP)にBERTopicの長所を利用して、APIドキュメントの要約を自動的に生成する。
  論文  参考訳（メタデータ） (2023-08-17T15:57:12Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data [101.63682141248069]
  ChatGPTのようなチャットモデルは印象的な機能を示しており、多くのドメインで急速に採用されている。 本稿では,ChatGPTを利用して,高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。 我々は,オープンソースの大規模言語モデルであるLLaMAを強化するために,パラメータ効率のチューニングを用いる。
  論文  参考訳（メタデータ） (2023-04-03T17:59:09Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。