論文の概要: RDL-Bench: A Benchmark for Task-Aware Question Answering over Relational Databases

• arxiv url: http://arxiv.org/abs/2610.21382v1
• Date: Thu, 15 Oct 2026 07:00:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.242414
• Title: RDL-Bench: A Benchmark for Task-Aware Question Answering over Relational Databases
• Title（参考訳）: RDL-Bench:関係データベースに対するタスク認識質問回答ベンチマーク
• Abstract要約: 本稿では,実際のRDBに対するタスク認識質問応答(QA)のベンチマークであるRDL-Benchを紹介する。 RDL-Benchは多様なユーザ質問を推論指向の質問に整理し、その回答は現在のデータベースの状態によって決定される。
• 参考スコア（独自算出の注目度）: 15.512851304695722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relational databases (RDBs) remain the primary infrastructure for storing and managing structured data across enterprise and scientific domains. Natural-language (NL) interfaces to RDBs aim to let users ask questions without writing SQL, but real user needs go beyond SQL-style lookup: some questions require reasoning over the observable database state, while others require predictive inference from historical relational records under temporal constraints. Existing benchmarks address these goals in isolation. To address this gap, we introduce RDL-Bench, a benchmark for task-aware question answering (QA) over real RDBs. RDL-Bench organizes diverse user questions into reasoning-oriented questions, whose answers are determined by the current database state, and prediction-oriented questions, whose answers depend on future outcomes under temporal constraints. Each instance contains an NL question, task metadata, schema information, temporal context, either executable evidence or target-construction logic, and denotation-level ground truth. RDL-Bench supports two evaluation settings: native solvers under their intended capabilities, and task-aware modular systems where a router dispatches each question to an appropriate execution module.
• Abstract（参考訳）: リレーショナルデータベース(RDB)は、企業や科学領域にまたがる構造化データの保存と管理のための主要な基盤のままである。 RDBの自然言語(NL)インターフェースは、SQLを書かなくても質問ができるが、実際のユーザのニーズは、SQLスタイルのルックアップを超えている。 既存のベンチマークは、これらの目標を分離して処理する。 このギャップに対処するために、実際のRDBに対するタスク対応質問応答(QA)のベンチマークであるRDL-Benchを紹介する。 RDL-Benchは、様々なユーザ質問を、現在のデータベース状態によって答えが決定される推論指向の質問と、時間的制約の下での今後の結果に依存する予測指向の質問にまとめる。 各インスタンスには、NL質問、タスクメタデータ、スキーマ情報、時間的コンテキスト、実行可能なエビデンスまたはターゲット構成ロジック、記述レベル基底真理が含まれている。 RDL-Benchは、2つの評価設定をサポートする: 意図した能力の下でのネイティブソルバと、ルータが各質問を適切な実行モジュールにディスパッチするタスク対応モジュールシステムである。

関連論文リスト

• JRDB-AVR: An Active Visual Reasoning Benchmark for Embodied Agents in Real-World Environments [51.05603466006443]
  具体化された視覚的推論のシナリオでは、質問に答えるために必要な証拠は時間、視点、相互作用するオブジェクトに分散する可能性がある。 我々は,構造化質問生成エンジンを用いて,既存の実世界のJRDBロボットデータから得られたベンチマークであるJRDB-AVRを紹介する。 また, 明示的な観測地上グラフに基づく世界モデルを維持する, 参照能動推論エージェントであるJRDB-AVR-Agentについても紹介する。
  論文  参考訳（メタデータ） (2026-09-28T12:30:11Z)
• Text2SQL is Not Enough: Unifying AI and Databases with TAG [47.45480855418987]
  Table-Augmented Generation (TAG) は、データベース上の自然言語の質問に答えるパラダイムである。 我々は、TAG問題を研究するためのベンチマークを開発し、標準手法がクエリの20%以上を正しく答えることを発見した。
  論文  参考訳（メタデータ） (2024-08-27T00:50:14Z)
• AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries [56.82807063333088]
  我々は,新たなベンチマークであるAMBROSIAを導入し,テキスト・ツー・オープン・プログラムの開発を促進することを期待する。 私たちのデータセットには、3種類のあいまいさ(スコープのあいまいさ、アタッチメントのあいまいさ、あいまいさ)を示す質問が含まれている。 いずれの場合も、データベースのコンテキストが提供されてもあいまいさは持続する。 これは、スクラッチからデータベースを制御して生成する、新しいアプローチによって実現される。
  論文  参考訳（メタデータ） (2024-06-27T10:43:04Z)
• ERBench: An Entity-Relationship based Automatically Verifiable Hallucination Benchmark for Large Language Models [46.07900122810749]
  大規模言語モデル(LLM)は、様々なアプリケーションで前例のない性能を達成したが、評価は依然として難しい。 既存のリレーショナルデータベースを利用することは、ベンチマークを構築する上で有望なアプローチである、と我々は主張する。 我々は,これらの整合性制約を用いて任意のデータベースをLLMベンチマークに変換するERBenchを提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:42:36Z)
• A Benchmark for Generalizable and Interpretable Temporal Question Answering over Knowledge Bases [67.33560134350427]
  TempQA-WDは時間的推論のためのベンチマークデータセットである。 Wikidataは、最も頻繁にキュレーションされ、公開されている知識ベースである。
  論文  参考訳（メタデータ） (2022-01-15T08:49:09Z)
• Counting Query Answers over a DL-Lite Knowledge Base (extended version) [14.504450881786214]
  知識ベース(KB)上での問合せ応答の複雑さについて検討する。 我々はPTIMEとcoNPの下位境界と、PTIMEとLOGSPACEの上位境界を提供することで既存の結果を改善する。
  論文  参考訳（メタデータ） (2020-05-12T16:01:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。