論文の概要: QO-Bench: Diagnosing Query-Operator-Preserving Retrieval over Typed Event Tuples

• arxiv url: http://arxiv.org/abs/2606.04646v1
• Date: Wed, 03 Jun 2026 09:14:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.651612
• Title: QO-Bench: Diagnosing Query-Operator-Preserving Retrieval over Typed Event Tuples
• Title（参考訳）: QO-Bench: 型付きイベントタプルによるクエリ-オペレータ-保存検索の診断
• Abstract要約: 本稿では,QO-Benchという,型付きイベントに対するクエリ操作型質問応答の診断ベンチマークを紹介する。 ベンチマークでは、22,984のニュース記事と18のクエリテンプレートにわたる614の企業イベントをカバーし、785の質問で評価されている。
• 参考スコア（独自算出の注目度）: 3.4933579621415576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world questions over business, legal, and scientific corpora are natural-language versions of database-style queries over records latent in text. Existing retrieval-augmented generation (RAG) systems are optimized primarily for semantic relevance, but retrieving plausible passages does not guarantee correct query execution. We introduce QO-Bench, a diagnostic benchmark for query-operator question answering over typed event tuples. The benchmark covers 22,984 news articles and 614 corporate events across 18 query templates, evaluated on 785 questions. Each gold answer is deterministically computed from typed event tuples and scored by recall, with answers matched to the gold tuples by exact match rather than an LLM judge. This design enables operator-level diagnosis such as joins and intersection. We evaluate RAG, ReAct RAG, GraphRAG, and information-extraction-to-SQL under matched conditions, with a long-context oracle ceiling to isolate retrieval failure. A two-axis framework -- index-time preservation versus query-time execution -- predicts where each paradigm fails, and the results bear it out: systems retrieve relevant text but discard the typed values operators need, and the deployable paradigm ranking inverts across operators, with similarity retrieval leading on filter/project and extraction-to-SQL on intersection and counting. Even given the gold evidence, a long-context oracle stays far from saturated, so operator execution -- not retrieval alone -- is a core bottleneck that a stronger answer model does not remove. QO-Bench reframes the goal from passage relevance to query-operator-preserving retrieval.
• Abstract（参考訳）: ビジネス、法的、科学的なコーパスに関する現実世界の多くの質問は、テキストに潜むレコードに対するデータベーススタイルのクエリの自然言語版である。 既存の検索拡張生成システム(RAG)は、主に意味的関連性のために最適化されているが、妥当なパスを取得することは、正しいクエリ実行を保証するものではない。 QO-Benchは、型付きイベントタプルに対するクエリ操作型質問応答の診断ベンチマークである。 ベンチマークでは、22,984のニュース記事と18のクエリテンプレートにわたる614の企業イベントをカバーし、785の質問で評価されている。 各金の解答は、タイプされたイベントタプルから決定的に計算され、リコールによってスコアされ、答えはLDMの判定ではなく、正確に一致して金のタプルと一致する。 この設計により、結合や交差といった演算子レベルの診断が可能になる。 RAG, ReAct RAG, GraphRAG, and information-extract-to-SQL を一致条件下で評価し, 長いコンテキストのオラクル天井を用いて検索障害を分離した。 システムは関連するテキストを検索するが、オペレータが必要とする型付けされた値を破棄する。そしてデプロイ可能なパラダイムランキングは、オペレータ間で反転する。 金の証拠を考えれば、長いコンテキストのオラクルは飽和から遠ざかっているため、オペレータの実行 -- 検索だけではありません -- は、強力な回答モデルが取り除かない中核的なボトルネックです。 QO-Benchは、パス関連性からクエリオペレータ保存検索まで、その目標を再構築する。

関連論文リスト

• ORDER: Task-Conditioned Routing for Retrieval-Augmented Generation [3.6028767235872965]
  本稿では,クエリにインデックス付けと検索を併用する問合せ条件付きRAGフレームワークを提案する。 我々は,大規模かつ異種な歴史的アーカイブの枠組みを評価し,クエリのインデックス付けと検索の条件付けが,根本的ベースラインと最先端RAGシステムの両方を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-09-15T11:23:16Z)
• VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
  VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。 100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。 強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
  論文  参考訳（メタデータ） (2026-08-18T15:23:06Z)
• TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering [80.93487993878836]
  現実世界のクエリの一般的なクラスは暗黙的に予測され、単に検索するのではなく、歴史的パターンから観測されていない回答を推測する必要がある。 これらのクエリには、潜在意図を認識することと、大規模テーブル上での信頼性の高い予測推論という2つの課題がある。 単点予測から意思決定,処理効果分析,複雑な推論に至るまで,4つのサブタスクにわたる779のサンプルからなるベンチマークであるTopBenchを紹介する。
  論文  参考訳（メタデータ） (2026-04-30T16:22:51Z)
• MDER-DR: Multi-Hop Question Answering with Entity-Centric Summaries [2.756584457554517]
  Map-Disambiguate-Enrich-Reduce (MDER)はコンテキスト由来の3重記述を生成し、エンティティレベルの要約と統合する。 Decompose-Resolve (DR)は、ユーザクエリを解決可能なトリプルに分解し、知識グラフに格納する。 MDERとDRはLLM駆動のQAパイプラインを形成し、スパース、不完全、複雑なリレーショナルデータに対して堅牢である。
  論文  参考訳（メタデータ） (2026-03-11T18:38:44Z)
• Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
  Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。 我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。 本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
  論文  参考訳（メタデータ） (2026-03-09T18:20:20Z)
• SPARTA: Scalable and Principled Benchmark of Tree-Structured Multi-hop QA over Text and Tables [13.249024309069236]
  テーブルテキスト質問応答タスクは、長いテキストとソーステーブルをまたいで推論し、複数のホップをトラバースし、集約のような複雑な操作を実行するモデルを必要とする。 本稿では,大規模テーブルテキストQAベンチマークを自動的に生成し,軽量な人体検証を行うエンドツーエンド構築フレームワークであるSPARTAを提案する。 SPARTAでは、HybridQAで70F1以上、OTT-QAで50F1以上に達する最先端モデルが30F1ポイント以上減少する。
  論文  参考訳（メタデータ） (2026-02-26T17:59:51Z)
• Can we Retrieve Everything All at Once? ARM: An Alignment-Oriented LLM-based Retrieval Method [48.14236175156835]
  ARMは、データオブジェクト間の関係を探索することで、データ収集の組織とよりよく一致させることを目指している。 クエリ分解の精度は最大5.2 pt、エージェントRAG(ReAct)は最大15.9 ptである。 最大5.5 pt、19.3 ptのF1マッチスコアをこれらのアプローチと比較して達成する。
  論文  参考訳（メタデータ） (2025-01-30T18:07:19Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Decoding a Neural Retriever's Latent Space for Query Suggestion [28.410064376447718]
  本稿では,有意なクエリをその潜在表現から復号することが可能であること,また,潜在空間の正しい方向に移動すると,関連する段落を検索するクエリを復号することができることを示す。 クエリデコーダを用いて、MSMarcoのクエリ再構成の大規模な合成データセットを生成する。 このデータに基づいて、クエリー提案の適用のために擬似関連フィードバック(PRF)T5モデルを訓練する。
  論文  参考訳（メタデータ） (2022-10-21T16:19:31Z)
• Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
  本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。 我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-24T11:37:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。