論文の概要: Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking
- arxiv url: http://arxiv.org/abs/2608.14808v1
- Date: Fri, 14 Aug 2026 18:23:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.089602
- Title: Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking
- Title（参考訳）: LLMは問うべきことを知っているか? マルチターン情報検索の評価
- Abstract要約: 我々は,k-不特定制約満足度問題の解法として,マルチターン情報探索を定式化する。
我々は、彼らが何を尋ねるか、いつ尋ねるか、取得した情報が最終回答にどう影響するかという3つの軸に沿ったモデルを評価する。
- 参考スコア（独自算出の注目度）: 27.6486449009769
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a user question is underspecified, a capable model should recognize that its context is insufficient, identify the missing information, ask for it, and respond only once that information determines a unique answer. We formalize multi-turn information seeking as solving a k-underspecified constraint satisfaction problem, where k is the number of variables jointly required to determine the target and therefore measures the degree of missing information. We instantiate the formulation in MT-InfoSeek, a controlled evaluation suite of 5,251 problems and 9,006 task instances spanning mathematics, logic, biology, medicine, and general knowledge. We evaluate models along three axes: what they ask, when they ask it, and how the acquired information affects the final answer. Performance degrades across models and domains as underspecification increases. Models recognize that additional information is needed but underestimate how much, and in logical problems at k = 2 they under-predict the degree of missing information about four times as often as they over-predict it. They also fail to identify a minimal sufficient set of queries, improve only marginally when given the true k, and often stop before acquiring sufficient information. In tasks with ordered dependencies, an incorrect query order reduces final accuracy even when the model eventually acquires all necessary information. We measure information seeking directly through final sufficiency, which records whether the acquired information determines the target independent of answer generation. This separation shows differences between models that final accuracy alone does not capture, and indicates that the ability to seek information over multiple turns is distinct from the ability to generate answers and is not measured by current LLM evaluations.
- Abstract（参考訳）: ユーザの質問が過小評価されている場合、有能なモデルは、そのコンテキストが不十分であることを認識し、不足した情報を識別し、要求し、その情報がユニークな答えを決定するとのみ応答するべきである。
我々は、k-不特定制約満足問題の解法として探究する多ターン情報を定式化し、kは目標を決定するために共同で必要となる変数の数であり、従って欠落情報の度合いを測る。
MT-InfoSeekは数学,論理学,生物学,医学,一般知識にまたがる5,251の課題と9,006のタスクインスタンスの制御された評価スイートである。
我々は、彼らが何を尋ねるか、いつ尋ねるか、取得した情報が最終回答にどう影響するかという3つの軸に沿ったモデルを評価する。
性能は、過小評価が増加するにつれて、モデルやドメイン間で低下する。
モデルは追加情報が必要であると認識するが、k = 2の論理的問題では、不足する情報の度合いを過度に予測するのと同程度に過小評価する。
また、十分なクエリの最小セットを特定することができず、真のkが与えられたときのみ、わずかに改善され、しばしば十分な情報を得る前に停止する。
順序付けられた依存関係を持つタスクでは、モデルが最終的にすべての必要な情報を取得する場合であっても、誤ったクエリ順序が最終的な精度を低下させる。
得られた情報が回答生成から独立して対象を判断するか否かを記録する。
この分離は、最終的な精度だけでは捉えられないモデルの違いを示し、複数のターンで情報を求める能力は、回答を生成する能力と異なり、現在のLCM評価では測定されないことを示す。
関連論文リスト
- MIRA-Math: A Benchmark for Minimal Information Requesting and Mathematical Reasoning [0.0]
MIRA-Mathは、完全な潜伏状態がユニークな答えを持つ問題を解決するためのベンチマークである。
解決者は、厳格な予算の下で自然言語の行方不明情報を要求し、返却された事実を正確な最終回答に統合しなければならない。
MIRA-Mathは、代数、確率、線形系、離散構造、信号処理、マルコフ連鎖、回路、計算、数値境界値問題にまたがる22の型付き数学的ファミリーから2,310個のインスタンスを生成する。
論文 参考訳（メタデータ） (2026-07-08T13:23:56Z) - PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning [0.0]
不完全情報の下では、モデルが解答、解答、Ask、Abstainを判断しなければならない。
本稿では,教師付き微調整によりモデル行動と情報満足度を整合させる3つのアクション・フレームワークであるPassiveQAを提案する。
提案手法は,構造化情報状態表現,知識グラフ基底コンテキスト,および不足変数と決定推論を明示的にモデル化した微調整プランナーを統合する。
論文 参考訳（メタデータ） (2026-04-06T09:54:16Z) - Knowing What's Missing: Assessing Information Sufficiency in Question Answering [3.8786514101828167]
本稿では,堅牢な十分性モデリングのための構造化Identify-then-Verifyフレームワークを提案する。
提案手法は,多様なマルチホップおよび実QAデータセット間で確立されたベースラインに対して評価する。
論文 参考訳（メタデータ） (2025-12-06T15:58:22Z) - Beyond Solving Math Quiz: Evaluating the Ability of Large Reasoning Models to Ask for Information [21.562453754113072]
大規模推論モデル (LRM) は数学において顕著な問題解決能力を示している。
多様な文脈を持つ2種類の不完全な問題からなる新しいデータセットを提案する。
このデータセットに基づいて, LRMの系統的評価を行ったところ, 積極的に情報を求めることができないことが明らかとなった。
論文 参考訳（メタデータ） (2025-08-15T06:42:00Z) - Teaching Language Models To Gather Information Proactively [53.85419549904644]
大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。
本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。
キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。
このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
論文 参考訳（メタデータ） (2025-07-28T23:50:09Z) - Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。
この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
論文 参考訳（メタデータ） (2024-07-16T17:23:16Z) - CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。
提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
論文 参考訳（メタデータ） (2024-04-28T18:21:31Z) - UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。
まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。
そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
論文 参考訳（メタデータ） (2023-10-17T02:38:09Z) - CLAM: Selective Clarification for Ambiguous Questions with Large
Language Models [37.37606905433334]
我々は,現在の SotA モデルでは,不正確な質問を提示しても,ユーザに対して明確化を求めないことを示す。
CLAMは,まずモデルを用いて曖昧な質問を検知し,不明瞭な質問が検出された場合,ユーザに対して明確化を求める。
本研究では,新しいあいまいな質問応答データセットを用いて,SotAに対して20.15パーセントの精度向上を実現していることを示す。
論文 参考訳（メタデータ） (2022-12-15T12:47:18Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳（メタデータ） (2020-06-16T19:13:21Z) - ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。
われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
論文 参考訳（メタデータ） (2020-01-22T14:39:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。