論文の概要: Beyond Correctness: Resolving Underspecification in Agentic Text-to-SQL

• arxiv url: http://arxiv.org/abs/2610.02739v1
• Date: Fri, 02 Oct 2026 03:10:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.192205
• Title: Beyond Correctness: Resolving Underspecification in Agentic Text-to-SQL
• Title（参考訳）: 正確性を超えて - エージェントテキストからSQLへの過小評価を解決する
• Abstract要約: 正しい実行結果が必ずしもエージェントが根底にある不特定性を適切に解決したことを暗示しているわけではないことを示す。 そこで我々はPlanPoolを導入する。これは、明確化計画を変更可能な質問プールとして外部化するものだ。 本研究の結果はエージェント推論において重要な違いを浮き彫りにしている: 行方不明情報を特定するだけでは不十分であり, エージェントは応答をコミットする前に,それを確実に維持および解決する必要がある。
• 参考スコア（独自算出の注目度）: 5.094120717737977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic Text-to-SQL systems can interact with users to clarify underspecified queries before generating SQL. However, a correct execution result does not necessarily imply that the agent has adequately resolved the underlying underspecification: the agent may silently make unverified assumptions that happen to match the intended answer. We show that this behavior is driven in part by premature clarification termination. Although forcing an agent to ask more questions improves execution accuracy, ambiguities are concentrated in earlier interactions, making brute-force questioning inefficient. More importantly, even when explicitly prompted to plan its clarification process, the agent frequently abandons questions that it has already identified as relevant. To address this failure mode, we introduce PlanPool, which externalizes the clarification plan as a mutable question pool. Every planned question must be explicitly asked or dropped before submission, while newly discovered ambiguities can be added during interaction. Across three benchmarks derived from BIRD-Interact and Spider, PlanPool consistently improves ambiguity coverage and reduces silent failures over unconstrained and prompt-based alternatives, while maintaining competitive execution accuracy. Our results highlight an important distinction in agentic reasoning: identifying missing information is not sufficient, and the agent must also reliably maintain and resolve it before committing to an answer.
• Abstract（参考訳）: Agentic Text-to-SQLシステムでは、SQLを生成する前にユーザと対話して、不特定クエリを明確にすることができる。 しかし、正しい実行結果は、エージェントが根底にある不明瞭さを適切に解決したことを必ずしも意味しているわけではない。 この動作は、部分的には未熟な明確化の終了によって引き起こされる。 エージェントにより多くの質問を強制すると、実行精度が向上するが、曖昧さは以前のインタラクションに集中しており、ブルートフォースの質問は非効率である。 さらに重要なことは、明確化のプロセスを明示的に計画するよう指示されたとしても、エージェントは、すでに関係していると認識している疑問を、しばしば放棄する。 この障害モードに対処するため、PlanPoolを導入し、明確化計画を変更可能な質問プールとして外部化する。 計画されたすべての質問は、提出前に明示的に質問または削除されなければならないが、新しく発見された曖昧さは、インタラクション中に追加可能である。 BIRD-InteractとSpiderから派生した3つのベンチマークで、PlanPoolはあいまいさのカバレッジを継続的に改善し、競合する実行精度を維持しながら、制約のない、プロンプトベースの代替手段に対するサイレント障害を低減する。 本研究の結果はエージェント推論において重要な違いを浮き彫りにしている: 行方不明情報を特定するだけでは不十分であり, エージェントは応答をコミットする前に,それを確実に維持および解決する必要がある。

関連論文リスト

• Ask Before You Optimize: Dynamic Pre-Formulation Clarification for Interactive Optimization [11.777689650316232]
  本稿では,事前定式化のためのベンチマークであるOR-Clarifyを紹介する。 本稿では,未解決な定式化クリティカルギャップを識別する2段階フレームワークInterOPTを提案する。
  論文  参考訳（メタデータ） (2026-09-04T15:19:38Z)
• Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact [0.0]
  大規模言語モデルは、データベースに対する自然言語インターフェースを新たに信頼できるものにしたが、キャリブレーションされたテキストから集約されたシステムは、デプロイメントにおいて重要な方法で失敗している。 本稿では、生成シェルを持つ信頼カーネルである、そのようなシステムのためのアーキテクチャパターンを1つの不変量に基づいて提案する。 生成シェルは入力とフレーズの応答を解釈し、決定論的カーネルは、完全に指定された質問と解答可能な質問形状の有界集合とを一致させる。 この2つは、ユーザが何らかの値が計算される前に読む確認で一致し、カーネルが表現できない要求は、近似されるよりも減少する。
  論文  参考訳（メタデータ） (2026-08-14T03:53:21Z)
• CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement [50.91045324738942]
  CLAIMは、オープンドメイン環境でのアクティブな明確化学習のための不確実性駆動フレームワークである。 本研究では,不確実性推定とセマンティッククラスタリングと推論に基づく判断を統合したエントロピー駆動型合成データ生成パイプラインを提案する。 実験の結果,手動でラベル付けしたデータに頼ることなく,CLAIMが安定かつ一般化可能な明確化戦略を学習できることが確認された。
  論文  参考訳（メタデータ） (2026-08-12T04:27:45Z)
• From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
  大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。 最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。 縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。 IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-03T12:52:04Z)
• Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
  アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。 我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。 我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
  論文  参考訳（メタデータ） (2026-06-22T11:36:58Z)
• RepoMirage: Probing Repository Context Reasoning in Code Agents with Perturbations [51.43574078961796]
  本稿では,SWE-Bench Verified上に構築された2段階評価スイートRepoMirageを紹介する。 RepoMirage-Perturbは、リポジトリレベルの摂動を保存する3つのタイプのセマンティクスを適用している。 RepoAnchorは、下流の問題解決からリポジトリの探索を分離する構造第一のプロトタイプワークフローである。
  論文  参考訳（メタデータ） (2026-05-25T06:26:43Z)
• PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments [59.07829883257003]
  5つの集合住宅の上に建設され、PRISMは300の人間認証タスクを3つの能力レベルに構成する。 PRISMはエージェントに依存しない実行可能なアクションAPIを公開し、任意のエージェントをエンドツーエンドで評価できるようにする。
  論文  参考訳（メタデータ） (2026-05-12T04:59:47Z)
• The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
  LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。 本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。 標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-01-21T15:22:21Z)
• AWARE-US: Benchmark for Preference-Aware Resolution in Tool-Calling Agents [0.0]
  我々は、優先的なクエリ修復問題として、ファシビリティーハンドリングの枠組みを定めている。 クエリが満足できない場合、エージェントはユーザにとって最も重要でない制約を緩和すべきである。 対話から相対的制約の重要度を推定する3つのLSMに基づく手法を提案する。
  論文  参考訳（メタデータ） (2026-01-06T01:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。