論文の概要: Conversational Task Disambiguation over Tabular Data: Leakage-Aware Formulation, Benchmark Suite, and Training
- arxiv url: http://arxiv.org/abs/2610.10740v1
- Date: Wed, 07 Oct 2026 18:09:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.624098
- Title: Conversational Task Disambiguation over Tabular Data: Leakage-Aware Formulation, Benchmark Suite, and Training
- Title(参考訳): 語彙データに関する会話課題の曖昧化:漏洩認識定式化,ベンチマークスイート,訓練
- Abstract要約: あいまいさと解決を形式化する曖昧な検証可能なタスクの概念を導入する。
6つの曖昧なデータセットを統合するベンチマークスイートであるAmbiTabを使って、テキストからテキストへフレームワークをインスタンス化する。
我々は,明確化戦略とオラクルリークを評価し,強化学習による質問策を訓練する。
- 参考スコア(独自算出の注目度): 3.076170146656896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conversational task disambiguation over tabular data uses dialogue to resolve missing information about a user's intended task before producing a solution over tables or databases. Existing evaluation and training lack a leakage-aware foundation. Task success mixes the agent's disambiguation and solution-generation capabilities and can also reflect oracle leakage, that is, information that a user simulator reveals beyond what a real user would. Existing datasets also lack a shared representation of ambiguities and access boundaries. We introduce the notion of an ambiguous verifiable task, which formalizes ambiguities and resolutions, decomposing the agent into an asking policy and a solution policy, and the environment into an oracle and verifier. This framework provides baselines and metrics for evaluating task disambiguation separately from solution generation, formal definitions of oracle leakage, judge-free leakage diagnostics, and a training objective for the asking policy. We instantiate the framework in text-to-SQL with AmbiTab, a benchmark suite that unifies six ambiguous datasets under a common representation specifying what the agent, oracle, and verifier may access. We evaluate clarification strategies and oracle leakage, and train an asking policy with reinforcement learning. The trained asker improves our disambiguation metrics on all six datasets and task success on five, and our leakage diagnostics measure how training affects oracle leakage.
- Abstract(参考訳): 表形式のデータに対する会話的タスクの曖昧さは、テーブルやデータベース上のソリューションを生成する前に、ユーザの意図したタスクに関する不足情報を解決するために対話を使用する。
既存の評価とトレーニングには、漏洩を意識した基礎が欠如している。
タスクの成功はエージェントの曖昧さとソリューション生成能力が混ざり合っており、またオラクルのリーク、すなわち、ユーザーがシミュレーターが実際のユーザが何をするかという情報も反映できる。
既存のデータセットには、あいまいさとアクセスバウンダリの共有表現がない。
あいまいさと解決を形式化し、エージェントを問合せポリシーと解法ポリシーに分解し、環境をオラクルと検証者に分解する曖昧な検証タスクの概念を導入する。
このフレームワークは、ソリューション生成と関係なくタスクの曖昧さを評価するためのベースラインとメトリクス、オラクルリークの形式的定義、判断自由リーク診断、および要求ポリシーのトレーニング目標を提供する。
AmbiTabは6つのあいまいなデータセットを共通表現の下で統一するベンチマークスイートで、エージェント、オラクル、検証者がアクセス可能なものを指定する。
我々は,明確化戦略とオラクルリークを評価し,強化学習による質問策を訓練する。
トレーニングされたアスカーは、6つのデータセットの曖昧さの指標と5つのタスクの成功を改善します。
関連論文リスト
- Beyond Correctness: Resolving Underspecification in Agentic Text-to-SQL [5.094120717737977]
正しい実行結果が必ずしもエージェントが根底にある不特定性を適切に解決したことを暗示しているわけではないことを示す。
そこで我々はPlanPoolを導入する。これは、明確化計画を変更可能な質問プールとして外部化するものだ。
本研究の結果はエージェント推論において重要な違いを浮き彫りにしている: 行方不明情報を特定するだけでは不十分であり, エージェントは応答をコミットする前に,それを確実に維持および解決する必要がある。
論文 参考訳(メタデータ) (2026-10-02T03:10:55Z) - Actively Resolving Contextual Uncertainty for Underspecified Tasks in Natural Language [58.02938677145988]
CLUE(Closed-Loop contextual Uncertainty rEsolution)は、自然言語で与えられた文脈の不確実性を解決するためのフレームワークである。
CLUEはボストン・ダイナミクス・スポットに15のタスクにまたがる屋内と屋外の3つの環境に展開します。
論文 参考訳(メタデータ) (2026-09-24T18:22:15Z) - Oracle Agent Memory as an Enterprise Memory Substrate for Long-Horizon AI Agents [3.704983597040439]
Oracle Agent Memoryは、Oracle Database上に構築されたデータベースネイティブなメモリ基板である。
レポートはLongMemEvalの結果を要約し、93.8%の精度に達した。
論文 参考訳(メタデータ) (2026-07-14T18:06:53Z) - Are We Asking the Right Questions? On Ambiguity in Natural Language Queries for Tabular Data Analysis [2.905751301655124]
我々は、ユーザとシステム間のクエリ仕様の共有責任に基づく、原則化されたフレームワークを開発する。
質問応答と分析の評価にフレームワークを適用することで、15の一般的なデータセットでクエリを分析する。
論文 参考訳(メタデータ) (2025-11-06T17:39:18Z) - Sherlock Your Queries: Learning to Ask the Right Questions for Dialogue-Based Retrieval [0.0]
SherlockLLMは、Reinforcement Learning (RL)を通じて最適な質問戦略を学ぶ対話駆動検索フレームワークである。
本フレームワークでは,探索空間を効率的に絞り込むために,エージェントが2次質問列を生成するように訓練する。
実験の結果,SherlockLLMは堅牢で効率的な解であることがわかった。
論文 参考訳(メタデータ) (2025-10-21T14:10:42Z) - AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries [56.82807063333088]
我々は,新たなベンチマークであるAMBROSIAを導入し,テキスト・ツー・オープン・プログラムの開発を促進することを期待する。
私たちのデータセットには、3種類のあいまいさ(スコープのあいまいさ、アタッチメントのあいまいさ、あいまいさ)を示す質問が含まれている。
いずれの場合も、データベースのコンテキストが提供されてもあいまいさは持続する。
これは、スクラッチからデータベースを制御して生成する、新しいアプローチによって実現される。
論文 参考訳(メタデータ) (2024-06-27T10:43:04Z) - Mining Java Memory Errors using Subjective Interesting Subgroups with
Hierarchical Targets [1.188383832081829]
サブグループディスカバリ(SD)は、インシデントコードを自動的にマイニングし、識別パターンを抽出して問題の根本原因を特定するデータマイニング手法である。
複雑なターゲット概念を階層構造で扱える新しいSD手法を提案する。
本稿では,メモリ外エラーの調査にこの枠組みを適用し,インシデント診断におけるその有用性を示す。
論文 参考訳(メタデータ) (2023-10-01T20:24:59Z) - Explainable Data-Driven Optimization: From Context to Decision and Back
Again [76.84947521482631]
データ駆動最適化では、コンテキスト情報と機械学習アルゴリズムを使用して、不確実なパラメータによる決定問題の解決策を見つける。
本稿では,データ駆動型問題に対する解法を説明するために,対実的説明手法を提案する。
在庫管理やルーティングといった運用管理における重要な問題を説明することで,我々のアプローチを実証する。
論文 参考訳(メタデータ) (2023-01-24T15:25:16Z) - Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised
Person Re-Identification and Text Authorship Attribution [77.85461690214551]
完全ラベル付きデータからの学習は、Person Re-IdentificationやText Authorship Attributionなどのマルチメディアフォレスト問題において困難である。
近年の自己教師型学習法は,基礎となるクラスに意味的差異が有る場合に,完全ラベル付きデータを扱う際に有効であることが示されている。
本研究では,異なるクラスからのサンプルが顕著に多様性を持っていない場合でも,ラベルのないデータから学習できるようにすることにより,個人再認識とテキストオーサシップの属性に対処する戦略を提案する。
論文 参考訳(メタデータ) (2022-02-07T13:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。