論文の概要: LLM-Based Open-Domain Integrated Task and Knowledge Assistants with Programmable Policies

• arxiv url: http://arxiv.org/abs/2407.05674v1
• Date: Mon, 8 Jul 2024 07:17:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 16:40:17.412340
• Title: LLM-Based Open-Domain Integrated Task and Knowledge Assistants with Programmable Policies
• Title（参考訳）: LLMに基づくプログラマブルポリシーを用いたオープンドメイン統合タスクと知識アシスタント
• Authors: Harshit Joshi, Shicheng Liu, James Chen, Robert Weigle, Monica S. Lam,
• Abstract要約: タスク指向対話エージェントを作成するためのプログラム可能なフレームワークを提案する。 KITAは、制御可能なエージェントポリシーを備えた信頼性の高い接地応答を提供する。 KITA は GPT-4 を26.1, 22.5, 52.4 で上回り, 実行精度, 対話動作精度, 目標達成率について比較した。
• 参考スコア（独自算出の注目度）: 9.062774302155043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Programming LLM-based knowledge and task assistants that faithfully conform to developer-provided policies is challenging. These agents must retrieve and provide consistent, accurate, and relevant information to address user's queries and needs. Yet such agents generate unfounded responses ("hallucinate"). Traditional dialogue trees can only handle a limited number of conversation flows, making them inherently brittle. To this end, we present KITA - a programmable framework for creating task-oriented conversational agents that are designed to handle complex user interactions. Unlike LLMs, KITA provides reliable grounded responses, with controllable agent policies through its expressive specification, KITA Worksheet. In contrast to dialog trees, it is resilient to diverse user queries, helpful with knowledge sources, and offers ease of programming policies through its declarative paradigm. Through a real-user study involving 62 participants, we show that KITA beats the GPT-4 with function calling baseline by 26.1, 22.5, and 52.4 points on execution accuracy, dialogue act accuracy, and goal completion rate, respectively. We also release 22 real-user conversations with KITA manually corrected to ensure accuracy.
• Abstract（参考訳）: 開発者が提供するポリシーに忠実に準拠するLLMベースの知識とタスクアシスタントのプログラミングは難しい。 これらのエージェントは、ユーザのクエリやニーズに対処するために、一貫性があり、正確で、関連する情報を検索し、提供しなければなりません。 しかし、そのようなエージェントは根拠のない応答("hallucinate")を生成する。 従来の対話ツリーは限られた数の会話フローしか処理できないため、本質的に脆弱である。 この目的のために、複雑なユーザインタラクションを処理するように設計されたタスク指向の対話エージェントを作成するためのプログラミング可能なフレームワークKITAを提案する。 LLMと異なり、KITAは、表現力のある仕様であるKITA Worksheetを通じて、制御可能なエージェントポリシーを備えた、信頼できる地上応答を提供する。 ダイアログツリーとは対照的に、多様なユーザクエリに耐性があり、知識ソースに役立ち、宣言的パラダイムによるプログラミングポリシーの容易さを提供する。 62名の被験者を対象とする実ユーザ調査により,KITA は GPT-4 を26.1,22.5,52.4 点で上回り,実行精度,対話行動精度,目標達成率をそれぞれ上回った。 また,正確性を確保するため,KITAと22のリアルタイム会話を手作業で修正した。

関連論文リスト

• Planning with Large Language Models for Conversational Agents [51.12859325330882]
  自律会話エージェント(CA)の制御性と能動性は重要な性質である 大規模言語モデル(LLM)を利用した計画型対話エージェントのための新しいフレームワークを提案する。 実験の結果,PCA-Dで微調整されたLCMは性能を著しく向上し,未確認領域に一般化できることがわかった。
  論文  参考訳（メタデータ） (2024-07-04T12:23:02Z)
• Learning to Clarify: Multi-turn Conversations with Action-Based Contrastive Self-Training [33.57497419019826]
  アクションベースのコントラスト自己学習は、多ターン会話におけるサンプル効率のよい対話ポリシー学習を可能にする。 ACTは、教師付き微調整とDPOのための標準的なアプローチよりも、相当な会話モデリングの改善を示す。
  論文  参考訳（メタデータ） (2024-05-31T22:44:48Z)
• AGILE: A Novel Framework of LLM Agents [7.982249117182315]
  ユーザとの複雑な対話処理を実現するために,LLMエージェントの新たなフレームワークを提案する。 エージェントの能力には、会話だけでなく、リフレクション、ツールの利用、専門家との相談が含まれる。 実験の結果, PPOで訓練した13Bおよび7B LLMをベースとしたAGILEは, GPT-4エージェントより優れていた。
  論文  参考訳（メタデータ） (2024-05-23T16:17:44Z)
• Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models [56.93074140619464]
  本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。 RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。 GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
  論文  参考訳（メタデータ） (2024-02-27T05:37:10Z)
• Synthetic Dialogue Dataset Generation using LLM Agents [7.933485970511388]
  我々は,会話エージェントとして機能するエージェントと,ユーザとして機能するエージェントを2つ開発する。 ユーザが利用できるNL4Optからの線形問題に関するテキスト記述のセットを使用して、エージェントとユーザは、元の問題記述からすべてのキー情報を取得するまで会話を行う。 我々は,人間の評価指標を再現するためにGPT-4を用いた評価手法を含む,人的および自動評価を行う。
  論文  参考訳（メタデータ） (2024-01-30T21:49:30Z)
• LLMCheckup: Conversational Examination of Large Language Models via Interpretability Tools and Self-Explanations [26.340786701393768]
  対話の形で説明を提供する解釈可能性ツールは,ユーザの理解を高める上で有効であることを示す。 しかしながら、対話ベースの説明のための現在のソリューションは、しばしば外部ツールやモジュールを必要とし、設計されていないタスクに簡単に転送できない。 ユーザがその振る舞いについて,最先端の大規模言語モデル(LLM)とチャットできる,アクセスしやすいツールを提案する。
  論文  参考訳（メタデータ） (2024-01-23T09:11:07Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)
• Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
  大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。 しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。 本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T18:45:16Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
  対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。 本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
  論文  参考訳（メタデータ） (2022-05-11T16:01:03Z)
• NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback [0.37277730514654556]
  NARLEは、対話システムの自然言語理解を改善するためのフレームワークである。 2つの意図的分類問題に対して、事前学習された教師付き学習モデルの微調整に強化学習を用いることで、最大43%の性能を向上させることを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-05T16:24:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。