論文の概要: LLM+Reasoning+Planning for supporting incomplete user queries in presence of APIs

• arxiv url: http://arxiv.org/abs/2405.12433v2
• Date: Fri, 11 Oct 2024 01:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:28:35.959626
• Title: LLM+Reasoning+Planning for supporting incomplete user queries in presence of APIs
• Title（参考訳）: APIの有無で不完全なユーザクエリをサポートするLLM+Reasoning+Planning
• Authors: Sudhir Agarwal, Anu Sreepathy, David H. Alonso, Prarit Lamba,
• Abstract要約: 実際には、自然言語のタスク要求(ユーザクエリ)は不完全であることが多い。 論理的推論と古典的AI計画とLLMを併用して,ユーザのクエリを正確に応答する。 提案手法は,完全かつ不完全な単一目標とマルチゴールクエリを含むデータセットにおいて,95%以上の成功率を達成する。
• 参考スコア（独自算出の注目度）: 0.09374652839580183
• License:
• Abstract: Recent availability of Large Language Models (LLMs) has led to the development of numerous LLM-based approaches aimed at providing natural language interfaces for various end-user tasks. These end-user tasks in turn can typically be accomplished by orchestrating a given set of APIs. In practice, natural language task requests (user queries) are often incomplete, i.e., they may not contain all the information required by the APIs. While LLMs excel at natural language processing (NLP) tasks, they frequently hallucinate on missing information or struggle with orchestrating the APIs. The key idea behind our proposed approach is to leverage logical reasoning and classical AI planning along with an LLM for accurately answering user queries including identification and gathering of any missing information in these queries. Our approach uses an LLM and ASP (Answer Set Programming) solver to translate a user query to a representation in Planning Domain Definition Language (PDDL) via an intermediate representation in ASP. We introduce a special API "get_info_api" for gathering missing information. We model all the APIs as PDDL actions in a way that supports dataflow between the APIs. Our approach then uses a classical AI planner to generate an orchestration of API calls (including calls to get_info_api) to answer the user query. Our evaluation results show that our approach significantly outperforms a pure LLM based approach by achieving over 95\% success rate in most cases on a dataset containing complete and incomplete single goal and multi-goal queries where the multi-goal queries may or may not require dataflow among the APIs.
• Abstract（参考訳）: 近年のLLM(Large Language Models)は、様々なエンドユーザタスクに自然言語インタフェースを提供することを目的とした、多数のLLMベースのアプローチの開発につながっている。 これらのエンドユーザータスクは、通常、特定のAPIセットを編成することで達成できる。 実際には、自然言語のタスク要求(ユーザクエリ)は不完全であることが多い。 LLMは自然言語処理(NLP)タスクに優れていますが、欠落した情報やAPIのオーケストレーションに苦慮することが多いのです。 提案手法の背景にある重要な考え方は、論理的推論と古典的AI計画とLLMを併用して、これらのクエリに欠けている情報の識別や収集を含むユーザのクエリを正確に答えることである。 我々のアプローチでは、LLMとASP(Answer Set Programming)ソルバを使用して、ASPの中間表現を介して、ユーザクエリを計画ドメイン定義言語(PDDL)の表現に変換する。 不足情報を収集するための特別なAPI"get_info_api"を導入します。 すべてのAPIをPDDLアクションとしてモデル化し、API間のデータフローをサポートします。 このアプローチでは、古典的なAIプランナを使用して、API呼び出し(get_info_api呼び出しを含む)のオーケストレーションを生成して、ユーザクエリに回答します。 提案手法は, 完全かつ不完全な単一目標を含むデータセットと, マルチゴールクエリがAPI間でデータフローを必要とする場合のマルチゴールクエリにおいて, 95%以上の成功率を達成し, 純粋なLCMベースのアプローチを著しく上回ることを示す。

関連論文リスト

• AppBench: Planning of Multiple APIs from Various APPs for Complex User Instruction [24.67142048995415]
  大きな言語モデル(LLM)は、多用途外部APIと接続することで、現実世界と対話することができる。 textttAppBench は LLM が様々なソースから複数の API を計画・実行できる能力を評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2024-10-10T04:03:13Z)
• A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
  API提案は、現代のソフトウェア開発において重要なタスクである。 大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
  論文  参考訳（メタデータ） (2024-09-20T03:12:35Z)
• NESTFUL: A Benchmark for Evaluating LLMs on Nested Sequences of API Calls [18.831512738668792]
  API呼び出しのネストシーケンスに基づいて,大規模言語モデル(LLM)を評価するベンチマークであるNESTFULを提案する。 その結果,ほとんどのモデルではNESTFULのネストしたAPIでは,既存のベンチマークで利用可能なより単純な問題設定では,性能が良くないことがわかった。
  論文  参考訳（メタデータ） (2024-09-04T17:53:24Z)
• LLM-based Frameworks for API Argument Filling in Task-Oriented Conversational Systems [39.54340884416936]
  本稿では,Large Language Models (LLMs) のAPI引数充足問題への適用について検討する。 提案手法と組み合わせることで, LLMの引数充足性能が顕著に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-27T06:54:53Z)
• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion [96.47420221442397]
  我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。 また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。 その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-11-03T08:06:35Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。