論文の概要: Coding Reliable LLM-based Integrated Task and Knowledge Agents with GenieWorksheets

• arxiv url: http://arxiv.org/abs/2407.05674v2
• Date: Thu, 31 Oct 2024 02:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 23:24:33.838985
• Title: Coding Reliable LLM-based Integrated Task and Knowledge Agents with GenieWorksheets
• Title（参考訳）: ジェニーワークシートを用いた信頼性の高いLCMベース統合タスクと知識エージェントのコーディング
• Authors: Harshit Joshi, Shicheng Liu, James Chen, Robert Weigle, Monica S. Lam,
• Abstract要約: 我々は、タスク指向の会話エージェントを作成するためのフレームワークGenieを紹介する。 Genieは、コントロール可能なエージェントポリシを備えた、信頼できる地上応答を提供する。 Genieを使用して構築されたエージェントは、STARV2データセットの複雑なロジックドメインの最先端メソッドを最大20.5%向上させる。
• 参考スコア（独自算出の注目度）: 9.062774302155043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) present an opportunity to create automated assistants that can help users navigate complex tasks. However, existing approaches have limitations in handling conditional logic, integrating knowledge sources, and consistently following instructions. Researchers and industry professionals often employ ad hoc pipelines to construct conversational agents. These pipelines aim to maintain context, address failure cases, and minimize hallucinations, yet frequently fail to achieve these objectives. To this end, we present Genie - a programmable framework for creating task-oriented conversational agents that are designed to handle complex user interactions and knowledge queries. Unlike LLMs, Genie provides reliable grounded responses, with controllable agent policies through its expressive specification, Genie Worksheet. In contrast to dialog trees, it is resilient to diverse user queries, helpful with knowledge sources, and offers ease of programming policies through its declarative paradigm. The agents built using Genie outperforms the state-of-the-art method on complex logic domains in STARV2 dataset by up to 20.5%. Additionally, through a real-user study involving 62 participants, we show that Genie beats the GPT-4 with function calling baseline by 21.1%, 20.1%, and 61% on execution accuracy, dialogue act accuracy, and goal completion rate, respectively, on three diverse real-world domains
• Abstract（参考訳）: 大きな言語モデル(LLM)は、ユーザが複雑なタスクをナビゲートするのに役立つ自動アシスタントを作成する機会を提供する。 しかし、既存のアプローチは条件論理の扱い、知識源の統合、命令の継続に制限がある。 研究者や業界の専門家は、しばしば会話エージェントを構築するためにアドホックパイプラインを使用している。 これらのパイプラインは、コンテキストを維持し、障害ケースに対処し、幻覚を最小限にすることを目的としている。 この目的のために、複雑なユーザインタラクションと知識クエリを扱うように設計されたタスク指向の対話エージェントを作成するためのプログラム可能なフレームワークGenieを提案する。 LLMとは異なり、Genieは、表現力のある仕様であるGenie Worksheetを通じて、制御可能なエージェントポリシーを備えた信頼できる基底応答を提供する。 ダイアログツリーとは対照的に、多様なユーザクエリに耐性があり、知識ソースに役立ち、宣言的パラダイムによるプログラミングポリシーの容易さを提供する。 Genieを使用して構築されたエージェントは、STARV2データセットの複雑なロジックドメインの最先端メソッドを最大20.5%向上させる。 さらに,62名の参加者を対象とする実ユーザ調査を通じて,Genieは実世界の3つのドメインにおいて,それぞれ実行精度,対話行動精度,目標達成率を21.1%,20.1%,61%でGPT-4を破った。

関連論文リスト

• ReSpAct: Harmonizing Reasoning, Speaking, and Acting Towards Building Large Language Model-Based Conversational AI Agents [11.118991548784459]
  大規模言語モデル(LLM)ベースのエージェントは、ますます外部環境との対話に使われている。 現在のフレームワークでは、これらのエージェントがユーザと対話してタスクの詳細を調整できない。 この作業では、タスク指向の"会話型"エージェントを構築する上で不可欠なスキルを組み合わせた、新しいフレームワークであるReSpActを紹介します。
  論文  参考訳（メタデータ） (2024-11-01T15:57:45Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• DARA: Decomposition-Alignment-Reasoning Autonomous Language Agent for Question Answering over Knowledge Graphs [70.54226917774933]
  本稿では,DARA(Decomposition Alignment-Reasoning Agent)フレームワークを提案する。 DARAは2つのメカニズムを通じて、質問を形式的なクエリに効果的に解析する。 我々は,DARAがKGQAの最先端列挙およびランク付けに基づく手法に匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-06-11T09:09:37Z)
• KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [54.09074527006576]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて大きな可能性を証明していますが、より高度な課題に取り組むには不十分です。 この不適切さは、主に言語エージェントのアクション知識が組み込まれていないことに起因する。 我々は、明示的な行動知識を取り入れることで、LLMの計画能力を高めるために設計された新しいアプローチであるKnowAgentを紹介する。
  論文  参考訳（メタデータ） (2024-03-05T16:39:12Z)
• Exploring Interaction Patterns for Debugging: Enhancing Conversational Capabilities of AI-assistants [18.53732314023887]
  大規模言語モデル(LLM)は、プログラマが様々なソフトウェア開発タスクの自然言語説明を得ることを可能にする。 LLMはしばしば十分な文脈なしに行動し、暗黙の仮定や不正確な反応を引き起こす。 本稿では,対話パターンと会話分析からインスピレーションを得て,デバッグのための対話型AIアシスタントRobinを設計する。
  論文  参考訳（メタデータ） (2024-02-09T07:44:27Z)
• Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding [15.04954445749935]
  メタプロンプティング(メタプロンプティング)は,言語モデル(LM)の機能向上を目的とした効果的な足場技術である。 高レベルの命令を利用することで、メタプロンプトはLMをガイドし、複雑なタスクをより小さく、より管理しやすいサブタスクに分解する。 このプロセスの中心はLM自体であり、導体としての役割を持ち、シームレスなコミュニケーションと出力の効果的な統合を保証する。
  論文  参考訳（メタデータ） (2024-01-23T18:22:19Z)
• TaskWeaver: A Code-First Agent Framework [50.99683051759488]
  TaskWeaverは、LLMで動く自律エージェントを構築するためのコードファーストフレームワークである。 ユーザ要求を実行可能なコードに変換し、ユーザ定義プラグインを呼び出し可能な関数として扱う。 リッチなデータ構造、フレキシブルなプラグイン利用、動的プラグイン選択のサポートを提供する。
  論文  参考訳（メタデータ） (2023-11-29T11:23:42Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward Decomposition [64.06167416127386]
  本稿では,システムとユーザの両方をダイアログエージェントとみなすマルチエージェントダイアログポリシー学習を提案する。 2人のエージェントが互いに相互作用し、同時に一緒に学習されます。 その結果,本手法がシステムポリシとユーザポリシを同時に構築できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-08T04:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。