論文の概要: LLM-guided Plan and Retrieval: A Strategic Alignment for Interpretable User Satisfaction Estimation in Dialogue

• arxiv url: http://arxiv.org/abs/2503.04675v1
• Date: Thu, 06 Mar 2025 18:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:00:05.663902
• Title: LLM-guided Plan and Retrieval: A Strategic Alignment for Interpretable User Satisfaction Estimation in Dialogue
• Title（参考訳）: LLM誘導計画と検索:対話における解釈可能なユーザ満足度推定のための戦略的アライメント
• Authors: Sangyeop Kim, Sohhyung Park, Jaewon Jung, Jinseok Kim, Sungzoon Cho,
• Abstract要約: PRAISEは効果的なユーザ満足度予測のための解釈可能なフレームワークである。 3つのモジュールを通して動作する。 ユーザ満足度推定タスクの3つのベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 5.070104802923903
• License:
• Abstract: Understanding user satisfaction with conversational systems, known as User Satisfaction Estimation (USE), is essential for assessing dialogue quality and enhancing user experiences. However, existing methods for USE face challenges due to limited understanding of underlying reasons for user dissatisfaction and the high costs of annotating user intentions. To address these challenges, we propose PRAISE (Plan and Retrieval Alignment for Interpretable Satisfaction Estimation), an interpretable framework for effective user satisfaction prediction. PRAISE operates through three key modules. The Strategy Planner develops strategies, which are natural language criteria for classifying user satisfaction. The Feature Retriever then incorporates knowledge on user satisfaction from Large Language Models (LLMs) and retrieves relevance features from utterances. Finally, the Score Analyzer evaluates strategy predictions and classifies user satisfaction. Experimental results demonstrate that PRAISE achieves state-of-the-art performance on three benchmarks for the USE task. Beyond its superior performance, PRAISE offers additional benefits. It enhances interpretability by providing instance-level explanations through effective alignment of utterances with strategies. Moreover, PRAISE operates more efficiently than existing approaches by eliminating the need for LLMs during the inference phase.
• Abstract（参考訳）: ユーザ満足度推定(USE)として知られる会話システムによるユーザ満足度理解は,対話品質の評価とユーザエクスペリエンスの向上に不可欠である。 しかし,既存のUSE手法では,ユーザ不満足の原因やアノテートによる高コストの理解が限られているため,課題に直面している。 これらの課題に対処するために,効果的なユーザ満足度予測のための解釈可能なフレームワークであるPRAISE(Plan and Retrieval Alignment for Interpretable Satisfaction Estimation)を提案する。 PRAISEは3つの主要なモジュールを通して動作する。 戦略プランナーは、ユーザの満足度を分類するための自然言語基準である戦略を開発する。 Feature Retrieverは、Large Language Models(LLM)からのユーザ満足度に関する知識を取り入れ、発話から関連機能を検索する。 最後に、スコアアナライザは戦略予測を評価し、ユーザの満足度を分類する。 実験の結果,PRAISE は USE タスクの3つのベンチマークで最先端のパフォーマンスを達成できた。 優れたパフォーマンスに加えて、PRAISEはさらなるメリットを提供する。 発話と戦略の効果的なアライメントを通じて、インスタンスレベルの説明を提供することで、解釈可能性を高める。 さらに、PRAISEは、推論フェーズにおけるLLMの必要性を排除し、既存のアプローチよりも効率的に動作する。

関連論文リスト

• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• HPSS: Heuristic Prompting Strategy Search for LLM Evaluators [81.09765876000208]
  我々はHuristic Prompting Strategy Search (HPSS)と呼ばれる新しい自動プロンプト戦略最適化手法を提案する。 遺伝的アルゴリズムにインスパイアされ、HPSSは反復探索を行い、評価者に対する適切な手順を見つける。 4つの評価課題にわたる大規模な実験により,HPSSの有効性が示された。
  論文  参考訳（メタデータ） (2025-02-18T16:46:47Z)
• Reason4Rec: Large Language Models for Recommendation with Deliberative User Preference Alignment [69.11529841118671]
  本稿では,ユーザの嗜好に関する明確な推論を新たなアライメント目標として組み込んだ,新たなDeliberative Recommendationタスクを提案する。 次にReasoningを利用したRecommenderフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-02-04T07:17:54Z)
• Review-driven Personalized Preference Reasoning with Large Language Models for Recommendation [21.769969074938142]
  EXP3RTは、ユーザとアイテムレビューに含まれるリッチな好み情報を活用するために設計された、LLMベースの新しいレコメンデータである。 詳細なステップバイステップの推論と予測された評価を生成する。 実験の結果、EXP3RTは評価予測と候補項目の双方において、トップkレコメンデーションにおいて既存の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-12T16:39:03Z)
• CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
  我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。 生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。 この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
  論文  参考訳（メタデータ） (2024-03-27T23:45:31Z)
• Interpretable User Satisfaction Estimation for Conversational Systems with Large Language Models [35.95405294377247]
  既成のMLモデルやテキスト埋め込みに基づくアプローチは、一般化可能なパターンの抽出に不足している。 LLMは、埋め込み型アプローチよりも、自然言語の発話から、ユーザの満足度を解釈可能なシグナルを抽出できることを示す。
  論文  参考訳（メタデータ） (2024-03-19T02:57:07Z)
• DRDT: Dynamic Reflection with Divergent Thinking for LLM-based Sequential Recommendation [53.62727171363384]
  進化的思考を伴う動的反射(Dynamic Reflection with Divergent Thinking)という新しい推論原理を導入する。 我々の方法論はダイナミックリフレクション(動的リフレクション)であり、探索、批評、反射を通じて人間の学習をエミュレートするプロセスである。 6つの事前学習 LLM を用いた3つのデータセットに対するアプローチの評価を行った。
  論文  参考訳（メタデータ） (2023-12-18T16:41:22Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Towards User Guided Actionable Recourse [5.669106489320257]
  Actionable Recourse (AR)は、ユーザの行動可能な機能に対するコスト効率の高い変更を推奨し、望ましい結果を得るのに役立つ。 ユーザ優先行動規範(UP-AR)を特定するための勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T18:06:09Z)
• Reward Shaping for User Satisfaction in a REINFORCE Recommender [24.65853598093849]
  本稿では,ユーザの満足度を満足するアクションを学習するためのポリシーネットワークと満足度計算ネットワークを提案する。 命令ネットワークの役割は、どのアクションがユーザに満足しているかを学習することであり、ポリシーネットワークは、REINFORCE上に構築され、どの項目を推奨するかを決定する。
  論文  参考訳（メタデータ） (2022-09-30T01:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。