論文の概要: Don't Guess, Ask Wisely: Benchmarking and Training Proactive Elicitation in Open-Domain LLM Conversations

• arxiv url: http://arxiv.org/abs/2611.01878v1
• Date: Sun, 01 Nov 2026 13:15:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.506074
• Title: Don't Guess, Ask Wisely: Benchmarking and Training Proactive Elicitation in Open-Domain LLM Conversations
• Title（参考訳）: Don't Guess, Ask Wisely: Open-Domain LLM 会話のベンチマークとトレーニング
• Abstract要約: ユーザクエリが不完全である場合、大きな言語モデルは、回答をコミットする前にターゲットの質問をすべきである。 VagueBenchを紹介します。各シードクエリは、構造化されたインテントと詳細ユニットでアノテートされ、その後、インテントベーグとフルベーグの亜種に分解されます。 本稿では,対話状態指向非巡回グラフとして多ターン推論を編成するオフライン強化学習手法であるDialogGRPOを提案する。
• 参考スコア（独自算出の注目度）: 17.664733367839244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When user queries are incomplete, large language models should ask targeted questions before committing to an answer, a capability we call proactive elicitation, yet evaluation on real user-assistant queries across seven LLMs (8B to frontier) shows that fewer than 11% of underspecified queries trigger a follow-up question. To benchmark and train this capability, we introduce VagueBench, where each seed query is annotated with structured intent and detail units then degraded into intent-vague and fully-vague variants via controlled removal of linguistic cues, yielding known hidden information sets for evaluating both when and what to ask. We propose DialogGRPO, an offline reinforcement learning method that organizes multi-turn elicitation as a dialogue-state directed acyclic graph, where candidate questions at each node receive dense turn-level rewards combining immediate information gain with lookahead value through group-relative comparison, enabling fine-grained credit assignment without runtime simulation. DialogGRPO elicits missing information on over 88% of vague queries with substantial gains in both recovery efficiency and answer coverage, without over-asking on complete queries, outperforms prompting and test-time-scaling baselines, and generalizes zero-shot to MultiWOZ 2.4 and AmbigQA.
• Abstract（参考訳）: ユーザクエリが不完全である場合、大きな言語モデルでは、回答をコミットする前にターゲットの質問をすべきである。これは、アクティブな推論と呼ばれる機能だが、7つのLSM(8Bからフロンティア)にわたる実際のユーザアシストクエリの評価は、未特定クエリの11%未満がフォローアップ質問を引き起こしていることを示している。 この能力をベンチマークし、トレーニングするために、VagBenchを紹介します。ここでは、各シードクエリに、構造化インテントと詳細ユニットがアノテートされ、その後、言語的手がかりの制御によるインテントベージとフルベージ変異に分解され、いつと何の両方を問うべきかを評価するための既知の隠れ情報セットが得られます。 本稿では,対話状態指向の非巡回グラフとして多ターン推論を編成するオフライン強化学習手法であるDialogGRPOを提案する。 DialogGRPOは、リカバリ効率と回答カバレッジの両方で大幅に向上したあいまいなクエリの88%以上の欠落情報を、完全なクエリを過度に問わずに提供し、プロンプトとテストタイムスケーリングのベースラインを上回り、ゼロショットをMultiWOZ 2.4とAmbigQAに一般化する。

関連論文リスト

• GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
  GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。 深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。 主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
  論文  参考訳（メタデータ） (2026-02-09T11:44:15Z)
• When and What to Ask: AskBench and Rubric-Guided RLVR for LLM Clarification [8.391356566325054]
  大きな言語モデル(LLM)は、重要な詳細を省略したり、誤解を招く情報を含まない場合にも、しばしば応答する。 タスク性能を犠牲にすることなく,LLMがいつ,何を求めるかを決定する能力の評価と改善について検討する。 AskBenchは、標準的なQAペアを明示的なチェックポイントを持つマルチターンインタラクションに変換する対話型ベンチマークである。
  論文  参考訳（メタデータ） (2026-02-04T02:21:01Z)
• Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
  ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。 我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。 BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
  論文  参考訳（メタデータ） (2025-09-08T10:58:42Z)
• First Ask Then Answer: A Framework Design for AI Dialogue Based on Supplementary Questioning with Large Language Models [0.0]
  First Ask Then Answer (FATA) は応答生成に先立ってユーザに対して多次元補足質問を生成する。 既存の明確化アプローチとは対照的に、FATAは完全性とユーザ参加を重視している。 実験の結果,FATAはB-Promptを約40%上回った。
  論文  参考訳（メタデータ） (2025-08-08T13:39:47Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• CLEAR-KGQA: Clarification-Enhanced Ambiguity Resolution for Knowledge Graph Question Answering [13.624962763072899]
  KGQAシステムは通常、ユーザクエリは曖昧であると仮定するが、これは現実世界のアプリケーションではめったに行われない仮定である。 本稿では,対話的明確化を通じて,エンティティのあいまいさ(類似した名前を持つエンティティの区別など)と意図のあいまいさ(ユーザクエリの異なる解釈を明確にするなど)を動的に扱う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-13T17:34:35Z)
• InfoQuest: Evaluating Multi-Turn Dialogue Agents for Open-Ended Conversations with Hidden Context [4.262907114077643]
  大きな言語モデルは明示的な指示に従う点で優れているが、曖昧さや不完全なユーザリクエストに悩まされることが多い。 オープンエンドのユーザリクエストにおいて、対話エージェントが隠れコンテキストをどのように扱うかを評価するために設計されたベンチマークであるInfoQuestを紹介する。
  論文  参考訳（メタデータ） (2025-02-17T19:01:10Z)
• CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
  CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。 提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
  論文  参考訳（メタデータ） (2024-04-28T18:21:31Z)
• Learning to Retrieve Engaging Follow-Up Queries [12.380514998172199]
  ユーザが持つ可能性のある次の質問を予測するための検索ベースシステムと関連するデータセットを提案する。 このようなシステムは,ユーザの知識探索を積極的に支援することで,より活発な対話を実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。