論文の概要: How Specific Do I Need to Be? Effects of User Query Underspecification on Deep Research Agents
- arxiv url: http://arxiv.org/abs/2610.39413v1
- Date: Thu, 29 Oct 2026 05:55:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 23:54:44.393877
- Title: How Specific Do I Need to Be? Effects of User Query Underspecification on Deep Research Agents
- Title(参考訳): どの程度の具体化が必要なのか? ディープリサーチエージェントに対するユーザクエリの未特定性の影響
- Abstract要約: 現実世界のユーザクエリは、ディープリサーチエージェント(DRA)によってしばしば過小評価される
我々は,不特定クエリがエージェントの最終応答品質と中間探索行動にどのように影響するかを評価するためのフレームワークUNDERSPEC-DRを紹介する。
以上の結果から,ユーザクエリの未特定化に対する現在のDRAの脆弱性を明らかにするとともに,ユーザ入力の追加が必要かどうかを積極的に認識するDRAの構築に向けた今後の取り組みについて報告する。
- 参考スコア(独自算出の注目度): 23.73433198573868
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep research agents (DRAs) conduct long-horizon reasoning, search, and literature synthesis to provide long-form answers to complex, domain-specific questions. These agents are typically trained and evaluated on fully specified user queries. However, real-world user queries can often be underspecified. We introduce UNDERSPEC-DR, a framework for systematically evaluating how underspecified queries affect agents' final answer quality and intermediate search behavior. Across three DRAs we evaluated, underspecification substantially reduces how well DRA's answers fulfill users' information needs, even though they remain grounded in cited evidence. Our analysis of intermediate search behavior suggests a possible explanation: DRAs conduct broader searches that draw less on the original user query but rely more on their learned prior during training, which can be misaligned with users' intent. Our findings reveal the vulnerability of current DRAs to underspecified user queries and inform future efforts to build DRAs that proactively recognize when additional user input is needed to reliably complete deep research tasks.
- Abstract(参考訳): ディープ・リサーチ・エージェント(DRA)は、複雑なドメイン固有の質問に対して長期の回答を提供するために、長期の推論、探索、文学合成を行う。
これらのエージェントは通常、完全に指定されたユーザクエリに基づいてトレーニングされ、評価される。
しかし、現実世界のユーザクエリは、しばしば過小評価される。
UNDERSPEC-DRは,不特定クエリがエージェントの最終応答品質と中間探索行動にどのように影響するかを体系的に評価するフレームワークである。
3つのDRAで評価したところ、未特定性は、引用された証拠に基づいたままでも、DRAの回答がユーザの情報ニーズをどの程度満たすかを大幅に低下させる。
DRAは、本来のユーザクエリよりも少ないが、学習前の学習に依存しており、ユーザの意図に反する可能性がある。
そこで本研究では,ユーザクエリの未特定化に対する現在のDRAの脆弱性を明らかにするとともに,詳細な研究タスクを確実に完了するためには,ユーザ入力の追加が必要かどうかを積極的に認識するDRAの構築に向けた今後の取り組みについて報告する。
関連論文リスト
- What Happens During Autonomous Deep Research After the User Steps Away? [12.806348370572715]
自律的なディープリサーチでは、ユーザーはタスクと関連するバックグラウンドを提供し、さらに人間の介入なしに拡張された調査を行うためにエージェントを離れる。
我々は、この初期ユーザー情報を中間行動にどのように反映するか、そしてこれらの行動が最終勧告にどう関係するかを考察する。
タスク関連ユーザファクタを1つ変更して、残りのコンテキストを固定しながら、取得要求、作業ドラフト、最終報告を比較します。
論文 参考訳(メタデータ) (2026-09-27T12:29:38Z) - Personalized Deep Research Query Refinement with Graph-Scaffolded Evidence Grounding [9.25068659105141]
G-STEERは、様々な因子依存性とエビデンス条件にまたがるグラフスキャフォールド軌道から、明確化ポリシーを学習する。
実験の結果、G-STEERは、両DRAにおいて、最強の全体重み付き対象カバレッジと、最上位の下流レポートパーソナライズを実現していることがわかった。
論文 参考訳(メタデータ) (2026-08-06T10:58:17Z) - Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。
本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。
我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
論文 参考訳(メタデータ) (2026-08-03T08:46:48Z) - When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search [6.384441153713447]
本稿では,DecoBenchについて紹介する。
探索エージェントが曖昧さを積極的に識別し、効果的な明確化の質問をし、ユーザインタラクションを通じて正しい推論経路を復元できるかどうかを評価するように設計されている。
実験により、あいまいさの検出と効果的な明確化は異なる能力であり、明確化を求める代わりに繰り返し検索することが直接推測よりも悪いことが示されている。
論文 参考訳(メタデータ) (2026-06-26T02:57:15Z) - GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。
深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。
主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
論文 参考訳(メタデータ) (2026-02-09T11:44:15Z) - Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。
我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。
BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
論文 参考訳(メタデータ) (2025-09-08T10:58:42Z) - An Empirical Study of Clarifying Question-Based Systems [15.767515065224016]
実験システムをデプロイしてオンライン実験を行い、プロダクトリポジトリに対して明確な質問をすることでユーザと対話する。
暗黙的なインタラクション行動データと,ユーザからの明示的なフィードバックの両方を収集する。 (a)ユーザは,多くの明確な質問(平均11~21件)に回答する意思がありますが,それ以上は多くありません。
論文 参考訳(メタデータ) (2020-08-01T15:10:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。