論文の概要: A Tri-Agent Framework for Evaluating and Aligning Question Clarification Capabilities of Large Language Models
- arxiv url: http://arxiv.org/abs/2609.02054v1
- Date: Wed, 02 Sep 2026 03:33:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.040139
- Title: A Tri-Agent Framework for Evaluating and Aligning Question Clarification Capabilities of Large Language Models
- Title（参考訳）: 大規模言語モデルの質問の明確化能力の評価・調整のためのトライエージェントフレームワーク
- Abstract要約: 大規模言語モデル(LLM)は、ユーザの意図を正確に理解することが最優先される対話型システムにおいて、ますます多くデプロイされている。
本稿では,LLMが対話の明確化に寄与する能力の堅牢性を評価するための,新しい三段階のフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 2.332848751256598
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly deployed in interactive systems where understanding user intent precisely is paramount. A key capability for such systems is effective question clarification, especially when user queries are ambiguous or underspecified. This paper introduces a novel tri-agent framework for the robust evaluation of an LLM's ability to engage in clarifying dialogue. Our framework comprises three distinct LLM-based agents: (1) a Question Clarifying Agent (QCA), the system under evaluation, tasked with identifying ambiguities and posing clarifying questions; (2) a Respondent Agent (RA), designed to simulate human user responses, potentially including irrelevant or challenging replies; and (3) an Evaluator Agent (EA), an LLM-as-a-judge, which assesses the quality of the dialogue based on a comprehensive set of metrics. We detail a methodology for synthetic data generation in the supply chain domain as an example. We propose metrics evaluating ambiguity handling, question quality, dialogue efficiency, language appropriateness, and final intent alignment. We also briefly discuss the validation of the EA against human judgments. This work provides a structured approach to benchmark, validate, and improve the clarification capabilities of conversational LLM applications.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ユーザの意図を正確に理解することが最優先される対話型システムにおいて、ますます多くデプロイされている。
このようなシステムの重要な機能は、特にユーザクエリがあいまいであるか不明確である場合に、効果的な質問の明確化である。
本稿では,LLMが対話の明確化に寄与する能力の堅牢性を評価するための,新しい三段階のフレームワークを提案する。
本フレームワークは,(1)あいまいさを識別し,質問を明確に提示するシステムであるQCA,(2)応答エージェント(RA,Respondent Agent,RA),(3)評価エージェント(EA,LCM-as-a-judge)の3つの異なるLCMベースのエージェントから構成される。
本稿では、サプライチェーン領域における合成データ生成の方法論を例に挙げる。
本稿では,あいまいさ処理,質問品質,対話効率,言語適性,最終意図整合性を評価する指標を提案する。
また,人的判断に対するEAの有効性についても論じる。
この研究は、対話型LLMアプリケーションのベンチマーク、検証、明確化能力の向上のための構造化されたアプローチを提供する。
関連論文リスト
- CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement [50.91045324738942]
CLAIMは、オープンドメイン環境でのアクティブな明確化学習のための不確実性駆動フレームワークである。
本研究では,不確実性推定とセマンティッククラスタリングと推論に基づく判断を統合したエントロピー駆動型合成データ生成パイプラインを提案する。
実験の結果,手動でラベル付けしたデータに頼ることなく,CLAIMが安定かつ一般化可能な明確化戦略を学習できることが確認された。
論文 参考訳（メタデータ） (2026-08-12T04:27:45Z) - Benchmarking Contextual Understanding for In-Car Conversational Systems [0.9437812993238097]
In-car Conversational Question Answering (ConvQA) システムは,シームレスな音声対話を実現することでユーザエクスペリエンスを著しく向上させる。
本稿では,Large Language Models (LLMs) と高度なプロンプト技術およびエージェントベース手法を用いて,ConvQAシステム応答がユーザの発話に適合する程度を評価する。
論文 参考訳（メタデータ） (2025-12-12T21:15:49Z) - Mind the Goal: Data-Efficient Goal-Oriented Evaluation of Conversational Agents and Chatbots using Teacher Models [0.0]
マルチエージェントシステムの目標指向評価のための包括的フレームワークを提案する。
提案手法は,ユーザの目標によって会話をセグメンテーションし,関連するすべてのターンを用いて成功を評価する。
企業環境では、ゼロ・ツー・ワンの会話エージェントシステムであるAIDAを評価するために、我々のフレームワークを適用します。
論文 参考訳（メタデータ） (2025-10-04T06:22:47Z) - Teaching Language Models To Gather Information Proactively [53.85419549904644]
大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。
本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。
キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。
このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
論文 参考訳（メタデータ） (2025-07-28T23:50:09Z) - AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。
CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。
ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
論文 参考訳（メタデータ） (2024-10-25T17:06:27Z) - Auto-PRE: An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [52.76508734756661]
Auto-PREはピアレビュープロセスにインスパイアされた自動評価フレームワークである。
人間のアノテーションに依存する従来のアプローチとは異なり、Auto-PREは自動的に3つのコア特性に基づいて評価子を選択する。
要約,非ファクトイドQA,対話生成を含む3つの代表的なタスクの実験は,Auto-PREが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-10-16T06:06:06Z) - RAG based Question-Answering for Contextual Response Prediction System [0.4660328753262075]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて汎用性を示している。
Retrieval Augmented Generation (RAG)は、この課題に対処するための有望な技術として登場した。
本稿では,産業用ユースケースにRAG機能を備えたLCMを用いたエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-05T17:14:23Z) - Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
大きな言語モデル(LLM)は、人間のような会話を生成できる。
BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。
本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
論文 参考訳（メタデータ） (2024-08-17T16:01:45Z) - Leveraging LLMs for Dialogue Quality Measurement [27.046917937460798]
大規模言語モデル(LLM)は、NLPタスク全体で堅牢なゼロショットと少数ショットの機能を提供する。
モデルサイズ,文脈内例,選択手法などの操作要因を考察し,CoT推論とラベル抽出手法について検討する。
この結果から,適切な微調整と十分な推論能力を有するLCMを自動対話評価に活用できることが示唆された。
論文 参考訳（メタデータ） (2024-06-25T06:19:47Z) - Learning to Clarify: Multi-turn Conversations with Action-Based Contrastive Self-Training [33.57497419019826]
アクションベースのコントラスト自己学習は、多ターン会話モデリングにおけるデータ効率のよい対話ポリシー学習を可能にする。
動作ラベルがない場合でも、データ効率のよいチューニングシナリオにおいてACTの有効性を実証する。
また,会話におけるあいまいさを暗黙的に認識し,説明できるかどうかを調べることで,LLMが会話エージェントとして機能する能力を評価することを提案する。
論文 参考訳（メタデータ） (2024-05-31T22:44:48Z) - Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳（メタデータ） (2023-11-16T00:18:50Z) - Prompting and Evaluating Large Language Models for Proactive Dialogues:
Clarification, Target-guided, and Non-collaboration [72.04629217161656]
本研究は, 明瞭化, 目標誘導, 非協調対話の3つの側面に焦点をあてる。
LLMの能動性を高めるために,プロアクティブ・チェーン・オブ・ソート・プロンプト方式を提案する。
論文 参考訳（メタデータ） (2023-05-23T02:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。