論文の概要: DSABench: Benchmarking Source Discovery, Coordination, and Execution for Multi-Database Agents

• arxiv url: http://arxiv.org/abs/2610.14700v1
• Date: Sat, 10 Oct 2026 08:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.091627
• Title: DSABench: Benchmarking Source Discovery, Coordination, and Execution for Multi-Database Agents
• Title（参考訳）: DSABench: マルチデータベースエージェントのソースディスカバリ、コーディネーション、実行のベンチマーク
• Abstract要約: DSABenchを共同で評価する。 815の人間レビュータスクは、Spider、BIRD、LiveBenchをベースとしている。 RA-Setの最高スコアは60.55%、RA-Graphの最高スコアは34.66%である。
• 参考スコア（独自算出の注目度）: 16.187804211937035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most text-to-SQL benchmarks provide the target database. In a large data catalog, however, choosing the sources is part of the problem: an agent must find every database needed for a request, determine how their results fit together, and execute the resulting workflow. We present DSABench to evaluate these capabilities jointly. Its 815 human-reviewed tasks draw on Spider, BIRD, and LiveSQLBench; 618 require several databases to contribute, and 105 allow more than one interpretation of the required sources. Executable contracts define source participation, cross-source dependencies, and source-local execution, while RouteEnv lets agents inspect public catalog evidence without revealing the gold annotations. In our routing-only study across seven model backends, the highest RA-Set score is 60.55%, compared with a highest RA-Graph score of 34.66% when coordination requirements are included. The gap becomes more pronounced when execution is required. Across four backends, median non-privileged Route+Exec-Graph success ranges from 6.69% to 7.98% without clarification and from 11.44% to 13.25% with one clarification; the best observed clarified configuration reaches 16.99%. On ambiguous tasks, clarification improves exact branch-source recovery by 39.8-43.2 percentage points. These findings illustrate why retrieving plausible databases or producing correct local SQL is not enough: an agent must carry the right information through the entire multi-database workflow.
• Abstract（参考訳）: ほとんどのテキスト-SQLベンチマークはターゲットデータベースを提供する。 しかし、大規模なデータカタログでは、ソースを選択することが問題の一部である。エージェントはリクエストに必要なすべてのデータベースを見つけ、結果がどのように適合するかを判断し、結果のワークフローを実行する必要がある。 我々はこれらの能力を共同で評価するためにDSABenchを提案する。 815の人間レビューされたタスクは、Spider、BIRD、LiveSQLBenchに描画される。 Executable Contractはソース参加、クロスソース依存関係、ソースローカル実行を定義し、RouteEnvはエージェントが金のアノテーションを公開せずに公開カタログのエビデンスを検査できるようにする。 7つのモデルバックエンドのルーティングのみを対象とした調査では、RA-Setスコアが60.55%、RA-Graphスコアが34.66%であるのに対して、RA-Setスコアが60.55%であった。 実行が必要な場合には、そのギャップがより明確になる。 4つのバックエンドで、中央値の非特権のRoute+Exec-Graphの成功は、明確化なしで6.69%から7.98%、明確化せずに11.44%から13.25%であり、最もよく観察された構成は16.99%である。 曖昧なタスクでは、明確なブランチソースリカバリが39.8-43.2ポイント向上する。 これらの発見は、プラウチブルデータベースの検索や正しいローカルSQLの生成が不十分な理由を示している。

関連論文リスト

• An Iterative LangGraph Agent for Text-to-SQL: Natural Language Access to the Chicago Crime Database [0.0]
  非技術ステークホルダは、運用データベースから洞察を抽出するために必要なthesqlを書くことができないことが多い。 このギャップを埋めるText-to-checkerエージェントを構築し,評価した。 エージェントはプロンプトエンジニアリングのみを使用し、モデルは微調整されなかった。
  論文  参考訳（メタデータ） (2026-09-19T09:54:16Z)
• WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing [10.956110208321556]
  我々は、この機能を表面ルーティングとして評価するためのベンチマークであるWorkSurface-Benchを紹介した。 これは、ペルソナスコープワークスペース-ベンチライトワークスペースから派生した1,151のアトミックタスクを含んでいる。 我々は、6つの制御されたエージェント設定で4つのモデルバックボーンを評価し、27,624個のプロトコルエラーフリーなトラジェクトリを得た。
  論文  参考訳（メタデータ） (2026-07-28T14:19:59Z)
• Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows [54.49251107006261]
  我々はSpider 2.0-AIFuncを紹介した。これは、Snowflakeプラットフォーム上の6種類のAI機能をカバーする125の現実世界データベースにわたる465の検証済みインスタンスのベンチマークである。 最強のプロプライエタリモデルは67-70%の精度で実行でき、最高のオープンソースモデルは58.1%に達する。
  論文  参考訳（メタデータ） (2026-07-07T12:54:08Z)
• CORE-T: COherent REtrieval of Tables for Text-to-SQL [91.76918495375384]
  CORE-Tはスケーラブルでトレーニング不要なフレームワークで、テーブルに目的のメタデータを付加し、軽量なテーブル互換キャッシュをプリコンプリートする。 バード、スパイダー、MMQAを越えて、CORE-Tはテーブル選択F1を最大22.7ポイント改善し、最大42%のテーブルを検索する。
  論文  参考訳（メタデータ） (2026-01-19T14:51:23Z)
• SWE-SQL: Illuminating LLM Pathways to Solve User SQL Issues in Real-World Applications [42.04389915459889]
  本稿では,BIRDCRITICを紹介した。 また、オープンソースのモデル機能を高めるためのトレーニング環境であるSixGymを紹介します。 これらのコンポーネントをオープンソースのエージェントであるBirdFixer-2.5-14Bに統合します。
  論文  参考訳（メタデータ） (2025-06-23T09:41:37Z)
• RAISE: Reasoning Agent for Interactive SQL Exploration [47.77323087050061]
  本稿では,スキーマリンク,クエリ生成,反復的改善を1つのエンドツーエンドコンポーネントに統一する新しいフレームワークを提案する。 本手法は、不慣れなデータベースを扱う際に、人間がどう答えるかをエミュレートする。
  論文  参考訳（メタデータ） (2025-06-02T03:07:08Z)
• ExCoT: Optimizing Reasoning for Text-to-SQL with Execution Feedback [49.21833666405111]
  大規模言語モデル(LLM)は、多くの推論タスクにおいて優れているが、Chain-of-Thought(CoT)推論を活用する能力はいまだに未定である。 我々は,オープンソース LLM を反復的に最適化する新しいフレームワークである ExCoT を提案する。
  論文  参考訳（メタデータ） (2025-03-25T18:17:36Z)
• RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
  本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。 ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。 提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
  論文  参考訳（メタデータ） (2024-10-31T16:22:26Z)
• MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
  最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。 我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。 我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。 次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
  論文  参考訳（メタデータ） (2023-12-18T14:40:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。