論文の概要: FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking

• arxiv url: http://arxiv.org/abs/2407.13945v1
• Date: Thu, 18 Jul 2024 23:44:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 19:13:08.119505
• Title: FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking
• Title（参考訳）: FANTAstic Sequences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decode and Re rank
• Authors: Zhuoer Wang, Leonardo F. R. Ribeiro, Alexandros Papangelis, Rohan Mukherjee, Tzu-Yen Wang, Xinyan Zhao, Arijit Biswas, James Caverlee, Angeliki Metallinou,
• Abstract要約: APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 57.53742155914176
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: API call generation is the cornerstone of large language models' tool-using ability that provides access to the larger world. However, existing supervised and in-context learning approaches suffer from high training costs, poor data efficiency, and generated API calls that can be unfaithful to the API documentation and the user's request. To address these limitations, we propose an output-side optimization approach called FANTASE. Two of the unique contributions of FANTASE are its State-Tracked Constrained Decoding (SCD) and Reranking components. SCD dynamically incorporates appropriate API constraints in the form of Token Search Trie for efficient and guaranteed generation faithfulness with respect to the API documentation. The Reranking component efficiently brings in the supervised signal by leveraging a lightweight model as the discriminator to rerank the beam-searched candidate generations of the large language model. We demonstrate the superior performance of FANTASE in API call generation accuracy, inference efficiency, and context efficiency with DSTC8 and API Bank datasets.
• Abstract（参考訳）: APIコール生成は、より大きな世界へのアクセスを提供する、大規模言語モデルのツール使用能力の基盤である。 しかし、既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、データ効率の低さ、APIドキュメントやユーザの要求に反する生成APIコールに悩まされている。 これらの制約に対処するため、FANTASEと呼ばれる出力側最適化手法を提案する。 FANTASEのユニークなコントリビューションの2つは、State-Tracked Constrained Decoding (SCD)とRe rankコンポーネントである。 SCDは、適切なAPI制約をToken Search Trieの形式で動的に組み込んで、APIドキュメントに関して、効率的で保証された世代忠実さを保証します。 判別器として軽量モデルを活用して、大規模言語モデルのビーム探索候補世代を再現することにより、教師付き信号を効率的に導入する。 DSTC8およびAPI Bankデータセットを用いたAPIコール生成精度,推論効率,コンテキスト効率において,FANTASEの優れた性能を示す。

関連論文リスト

• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• AutoFeedback: An LLM-based Framework for Efficient and Accurate API Request Generation [16.590226868986296]
  AutoFeedbackは、効率的で正確なAPIリクエスト生成のためのフレームワークである。 大規模言語モデルによるAPIリクエストの生成プロセス中に2つのフィードバックループを実装している。 実際のAPIデータセットで100.00%の精度を実現し、GPT-3.5 Turboとのインタラクションコストを23.44%削減し、GPT-4 Turboを11.85%削減する。
  論文  参考訳（メタデータ） (2024-10-09T14:38:28Z)
• A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models [14.665460257371164]
  GitHub CopilotやChatGPTのような大規模言語モデル(LLM)は、コード生成の強力なツールとして登場した。 API指向コード生成におけるLLMの機能を評価するために設計されたフレームワークであるAutoAPIEvalを提案する。
  論文  参考訳（メタデータ） (2024-09-23T17:22:09Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning [14.351476383642016]
  そこで我々は,Stack OverflowコードスニペットのAPIzationを自動的に実行する,Code2APIという新しいアプローチを提案する。 Code2APIは、追加のモデルトレーニングや手作業のルールを必要としない。 他の外部ツールに頼ることなく、パーソナルコンピュータに簡単にデプロイできる。
  論文  参考訳（メタデータ） (2024-05-06T14:22:17Z)
• Octopus: On-device language model for function calling of software APIs [9.78611123915888]
  大きな言語モデル(LLM)は、高度なテキスト処理と生成能力のために重要な役割を果たす。 本研究は,ソフトウェアAPIの起動において,デバイス上でのLCMを活用するための新たな戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-02T01:29:28Z)
• Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
  ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。 BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。 非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
  論文  参考訳（メタデータ） (2023-05-10T16:40:52Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。