論文の概要: Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents

• arxiv url: http://arxiv.org/abs/2402.09205v1
• Date: Wed, 14 Feb 2024 14:36:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 15:07:28.728121
• Title: Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents
• Title（参考訳）: もっと教えてくれ! 言語モデル駆動エージェントのユーザ意図的理解に向けて
• Authors: Cheng Qian, Bingxiang He, Zhong Zhuang, Jia Deng, Yujia Qin, Xin Cong, Yankai Lin, Zhong Zhang, Zhiyuan Liu, Maosong Sun
• Abstract要約: 現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。 Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。 私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
• 参考スコア（独自算出の注目度）: 101.02616088746466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current language model-driven agents often lack mechanisms for effective user participation, which is crucial given the vagueness commonly found in user instructions. Although adept at devising strategies and performing tasks, these agents struggle with seeking clarification and grasping precise user intentions. To bridge this gap, we introduce Intention-in-Interaction (IN3), a novel benchmark designed to inspect users' implicit intentions through explicit queries. Next, we propose the incorporation of model experts as the upstream in agent designs to enhance user-agent interaction. Employing IN3, we empirically train Mistral-Interact, a powerful model that proactively assesses task vagueness, inquires user intentions, and refines them into actionable goals before starting downstream agent task execution. Integrating it into the XAgent framework, we comprehensively evaluate the enhanced agent system regarding user instruction understanding and execution, revealing that our approach notably excels at identifying vague user tasks, recovering and summarizing critical missing information, setting precise and necessary agent execution goals, and minimizing redundant tool usage, thus boosting overall efficiency. All the data and codes are released.
• Abstract（参考訳）: 現在の言語モデル駆動エージェントは、効果的なユーザー参加のためのメカニズムを欠いていることが多い。 戦略の策定やタスクの実行には適しているが、これらのエージェントは明確化と正確なユーザ意図の把握に苦慮している。 このギャップを埋めるために,明示的なクエリを通じてユーザの暗黙的な意図を検査する,新しいベンチマークであるintent-in-interaction (in3)を導入する。 次に,モデルエキスパートをエージェント設計の上流として導入し,ユーザとエージェントの対話性を高めることを提案する。 これは、タスクの曖昧さを積極的に評価し、ユーザの意図を問い合わせ、それらを下流エージェントタスクの実行を開始する前に実行可能な目標に洗練する強力なモデルです。 xagentフレームワークへの統合により,ユーザ指示の理解と実行に関する拡張エージェントシステムを包括的に評価し,このアプローチがあいまいなユーザタスクの識別,重要な欠落情報の回収と要約,正確かつ必要なエージェント実行目標の設定,冗長なツール使用の最小化,全体的な効率の向上に特に優れていることを明らかにした。 すべてのデータとコードはリリースされます。

関連論文リスト

• ReSpAct: Harmonizing Reasoning, Speaking, and Acting Towards Building Large Language Model-Based Conversational AI Agents [11.118991548784459]
  大規模言語モデル(LLM)ベースのエージェントは、ますます外部環境との対話に使われている。 現在のフレームワークでは、これらのエージェントがユーザと対話してタスクの詳細を調整できない。 この作業では、タスク指向の"会話型"エージェントを構築する上で不可欠なスキルを組み合わせた、新しいフレームワークであるReSpActを紹介します。
  論文  参考訳（メタデータ） (2024-11-01T15:57:45Z)
• Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
  本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
  論文  参考訳（メタデータ） (2024-10-14T17:57:02Z)
• Interactive Speculative Planning: Enhance Agent Efficiency through Co-design of System and User Interface [38.76937539085164]
  本稿では,人間中心の効率的なエージェント計画手法である対話型投機計画を提案する。 我々は,システム設計と人間-AIインタラクションの両面からエージェント計画の効率化を目指す。
  論文  参考訳（メタデータ） (2024-09-30T16:52:51Z)
• ProductAgent: Benchmarking Conversational Product Search Agent with Asking Clarification Questions [68.81939215223818]
  ProductAgentは,戦略的明確化質問生成機能と動的製品検索機能を備えた対話情報探索エージェントである。 我々は,製品特徴の要約,クエリ生成,製品検索のための戦略を持ったエージェントを開発する。 実験の結果,ProductAgentはユーザとポジティブに対話し,対話のターンの増加に伴う検索性能の向上を図っている。
  論文  参考訳（メタデータ） (2024-07-01T03:50:23Z)
• Ask-before-Plan: Proactive Language Agents for Real-World Planning [68.08024918064503]
  プロアクティブエージェントプランニングでは、ユーザエージェントの会話とエージェント環境のインタラクションに基づいて、言語エージェントが明確化のニーズを予測する必要がある。 本稿では,明確化,実行,計画の3つのエージェントからなる新しいマルチエージェントフレームワーク,Clarification-Execution-Planning(textttCEP)を提案する。
  論文  参考訳（メタデータ） (2024-06-18T14:07:28Z)
• MobileAgent: enhancing mobile control via human-machine interaction and SOP integration [0.0]
  大規模言語モデル(LLM)は、ユーザのためのモバイルデバイス操作を自動化できるようになった。 パーソナライズされたユーザデータに関するプライバシー上の懸念は、モバイル操作中に発生し、ユーザ確認が必要になる。 エージェントと人間間の対話的なタスクを設計し、機密情報を識別し、パーソナライズされたユーザニーズに合わせる。 提案手法は,複数ステップのタスクにまたがる30Kのユニークな命令を含む新しいデバイス制御ベンチマークであるAitWで評価される。
  論文  参考訳（メタデータ） (2024-01-04T03:44:42Z)
• AgentCF: Collaborative Learning with Autonomous Language Agents for Recommender Systems [112.76941157194544]
  本稿では,エージェントベースの協調フィルタリングにより,レコメンデータシステムにおけるユーザとイテムのインタラクションをシミュレートするエージェントCFを提案する。 我々は、ユーザだけでなく、アイテムをエージェントとして、創造的に考慮し、両方のエージェントを同時に最適化する協調学習アプローチを開発します。 全体として、最適化されたエージェントは、ユーザ・イテム、ユーザ・ユーザ・ユーザ、アイテム・イテム、集合的インタラクションなど、フレームワーク内での多様なインタラクションの振る舞いを示す。
  論文  参考訳（メタデータ） (2023-10-13T16:37:14Z)
• Diagnosis, Feedback, Adaptation: A Human-in-the-Loop Framework for Test-Time Policy Adaptation [20.266695694005943]
  ポリシーは新しい環境にポリシーがデプロイされたときに発生する状態と報酬の変化によって、しばしば失敗する。 データ拡張は、エージェントの観察におけるタスク非関連の変化にモデルを不変にすることで、ロバスト性を高めることができる。 本稿では,ユーザからのフィードバックを直接活用して,タスク関連概念をパーソナライズする対話型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:55:08Z)
• Assisting Human Decisions in Document Matching [52.79491990823573]
  我々は,意思決定者のパフォーマンスを向上する支援情報の種類を評価するためのプロキシマッチングタスクを考案した。 ブラックボックスモデルによる説明を提供することで,マッチング作業におけるユーザの精度が低下することが判明した。 一方,タスク固有のデシラタに密接に対応するように設計されたカスタムメソッドは,ユーザのパフォーマンス向上に有効であることが判明した。
  論文  参考訳（メタデータ） (2023-02-16T17:45:20Z)
• "I Don't Think So": Disagreement-Based Policy Summaries for Comparing Agents [2.6270468656705765]
  本稿では,エージェントのポリシーの違いを強調するコントラスト的な要約を生成する手法を提案する。 本結果から, 新規な不一致に基づく要約は, HighLIGHTS を用いた要約に比べてユーザパフォーマンスの向上につながることが示された。
  論文  参考訳（メタデータ） (2021-02-05T09:09:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。