Fugu-MT 論文翻訳(概要): Goal Alignment in LLM-Based User Simulators for Conversational AI

論文の概要: Goal Alignment in LLM-Based User Simulators for Conversational AI

arxiv url: http://arxiv.org/abs/2507.20152v1
Date: Sun, 27 Jul 2025 07:07:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-29 16:23:57.082066
Title: Goal Alignment in LLM-Based User Simulators for Conversational AI
Title（参考訳）: 会話型AIのためのLLMベースユーザシミュレータのゴールアライメント
Authors: Shuhaib Mehri, Xiaocheng Yang, Takyoung Kim, Gokhan Tur, Shikib Mehri, Dilek Hakkani-Tür,
Abstract要約: ユーザシミュレータは対話型AIにとって不可欠であり、シミュレートされたインタラクションを通じてスケーラブルなエージェント開発と評価を可能にする。 UGST(User Goal State Tracking)は,会話を通じてユーザ目標の進行を追跡する新しいフレームワークである。本稿では,目標の進捗を自律的に追跡し,目標に沿った応答を生成するユーザシミュレータを開発するための3段階の方法論を提案する。
参考スコア（独自算出の注目度）: 14.771856490513194
License: http://creativecommons.org/licenses/by/4.0/
Abstract: User simulators are essential to conversational AI, enabling scalable agent development and evaluation through simulated interactions. While current Large Language Models (LLMs) have advanced user simulation capabilities, we reveal that they struggle to consistently demonstrate goal-oriented behavior across multi-turn conversations--a critical limitation that compromises their reliability in downstream applications. We introduce User Goal State Tracking (UGST), a novel framework that tracks user goal progression throughout conversations. Leveraging UGST, we present a three-stage methodology for developing user simulators that can autonomously track goal progression and reason to generate goal-aligned responses. Moreover, we establish comprehensive evaluation metrics for measuring goal alignment in user simulators, and demonstrate that our approach yields substantial improvements across two benchmarks (MultiWOZ 2.4 and {\tau}-Bench). Our contributions address a critical gap in conversational AI and establish UGST as an essential framework for developing goal-aligned user simulators.
Abstract（参考訳）: ユーザシミュレータは対話型AIにとって不可欠であり、シミュレートされたインタラクションを通じてスケーラブルなエージェント開発と評価を可能にする。現在のLarge Language Models (LLM) には高度なユーザシミュレーション機能があるが、下流アプリケーションにおける信頼性を損なう重要な制限であるマルチターン会話における目標指向の振る舞いを一貫して示すのに苦労していることを明らかにする。 UGST(User Goal State Tracking)は,会話を通じてユーザ目標の進行を追跡する新しいフレームワークである。 UGSTを活用することで、ゴールの進行を自律的に追跡し、ゴールに沿った応答を生成するユーザシミュレータを開発するための3段階の方法論を提案する。さらに,ユーザシミュレータにおける目標アライメント測定のための総合的な評価指標を確立し,本手法が2つのベンチマーク(MultiWOZ 2.4 および {\tau}-Bench)において大幅な改善をもたらすことを示す。我々の貢献は、対話型AIにおける重要なギャップに対処し、UGSTをゴール整合型ユーザーシミュレータの開発に欠かせないフレームワークとして確立する。

関連論文リスト

YuLan-OneSim: Towards the Next Generation of Social Simulator with Large Language Models [50.86336063222539]
本稿では,YuLan-OneSimというソーシャルシミュレータを紹介する。ユーザは、シミュレータとの自然言語インタラクションを通じて、シミュレーションシナリオを記述し、洗練することができます。我々は、経済学、社会学、政治、心理学、組織、人口統計学、法律、コミュニケーションを含む8つの領域にまたがる50のデフォルトシミュレーションシナリオを実装した。
論文参考訳（メタデータ） (2025-05-12T14:05:17Z)
Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles [37.43150003866563]
我々は,人間と機械のインタラクションから暗黙のユーザプロファイルを推論し,パーソナライズされたリアルな対話をシミュレートする,インプリシットプロファイル付きユーザシミュレータ(USP)を紹介する。 USPは、同等の一貫性を維持しながら、信頼性と多様性の点で、強力なベースラインを上回ります。
論文参考訳（メタデータ） (2025-02-26T09:26:54Z)
Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
論文参考訳（メタデータ） (2025-02-21T20:29:02Z)
Towards a Formal Characterization of User Simulation Objectives in Conversational Information Access [15.54070473873364]
ユーザシミュレーションは、会話情報アクセスエージェントを自動訓練し、評価するための有望なアプローチである。トレーニングは実際のユーザとの行動類似性を最大化することを目的としており、評価は現実世界の会話エージェントのパフォーマンスの正確な予測に焦点を当てている。
論文参考訳（メタデータ） (2024-06-27T08:46:41Z)
How Reliable is Your Simulator? Analysis on the Limitations of Current LLM-based User Simulators for Conversational Recommendation [14.646529557978512]
本稿では,対話型レコメンダシステムのためのユーザシミュレータ構築におけるLarge Language Modelsの使用制限について分析する。会話履歴やユーザシミュレータの応答で発生するデータ漏洩は,評価結果を膨らませる結果となる。そこで我々はSimpleUserSimを提案する。
論文参考訳（メタデータ） (2024-03-25T04:21:06Z)
Reliable LLM-based User Simulator for Task-Oriented Dialogue Systems [2.788542465279969]
本稿では,ドメイン対応ユーザシミュレータDAUSを紹介する。タスク指向対話の実例について,DAUSを微調整する。 2つの関連するベンチマークの結果は、ユーザ目標達成の点で大幅に改善されている。
論文参考訳（メタデータ） (2024-02-20T20:57:47Z)
Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文参考訳（メタデータ） (2023-12-11T22:54:44Z)
User Simulation with Large Language Models for Evaluating Task-Oriented Dialogue [10.336443286833145]
本稿では,最近開発された大規模事前学習言語モデル(LLM)を用いた新しいユーザシミュレータを提案する。シミュレーション性能の主指標としてゴール成功率(GSR)を最大化しようとする従来の研究とは異なり,本研究の目的は,TODシステムとのヒューマンインタラクションで観測されるようなGSRを実現するシステムである。
論文参考訳（メタデータ） (2023-09-23T02:04:57Z)
Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。提案手法は従来のSOTA(State-of-the-art)よりも優れている。
論文参考訳（メタデータ） (2023-06-16T13:04:56Z)
User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
論文参考訳（メタデータ） (2023-06-05T02:58:35Z)
Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
論文参考訳（メタデータ） (2022-04-02T05:11:03Z)
Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward Decomposition [64.06167416127386]
本稿では,システムとユーザの両方をダイアログエージェントとみなすマルチエージェントダイアログポリシー学習を提案する。 2人のエージェントが互いに相互作用し、同時に一緒に学習されます。その結果,本手法がシステムポリシとユーザポリシを同時に構築できることが示唆された。
論文参考訳（メタデータ） (2020-04-08T04:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。