論文の概要: HETERQA: Benchmarking Record Retrieval over Multiple Heterogeneous Sources

• arxiv url: http://arxiv.org/abs/2607.03028v1
• Date: Fri, 03 Jul 2026 07:18:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 13:07:37.050529
• Title: HETERQA: Benchmarking Record Retrieval over Multiple Heterogeneous Sources
• Title（参考訳）: HETERQA: 複数の異種ソース上でのレコード検索のベンチマーク
• Authors: Yaodong Su, Hanchang Li, Quanqing Xu, Chuanhui Yang, Yixiang Fang,
• Abstract要約: ヘターQA(HETERQA)は、ヘテロジニアスな5つのソースにまたがるレコード検索のベンチマークである。 HeterQAはこの設定をYelpのビジネスレコードでインスタンス化する。 矛盾検出と人的検証によりベンチマークを検証し、スパース、高密度、ハイブリッド、遅延相互作用、エージェントレトリバーを更に評価する。
• 参考スコア（独自算出の注目度）: 15.327691815902483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In emerging systems (e.g., social media and e-commerce platforms), data records are often drawn from heterogeneous sources, such as relational tables, text documents, image repositories, spatial databases, and knowledge graphs. Accordingly, retrieving target records for question-answering (QA) tasks requires us to jointly exploit these heterogeneous sources. However, most existing benchmarks are constructed from individual sources, and only a very few recent benchmarks have considered two or three sources. To alleviate this issue, we introduce HETERQA, a comprehensive benchmark with 857 QA pairs for record retrieval over five heterogeneous sources. HETERQA instantiates this setting with Yelp business records, each of which is grounded by multiple sources. We build HETERQA in an answer-driven manner: candidate records are first initialized with record-field constraints, then enriched through heterogeneous sources, and finally cross-verified across required sources before the natural-language question is retained. We validate the benchmark through contradiction detection and human validation, and further evaluate sparse, dense, hybrid, late-interaction, and agentic retrievers under the same metrics. The results show that HETERQA is challenging: hybrid retrieval achieves the strongest Recall@10, Self-RAG achieves the best MRR@10, and all evaluated methods remain far from saturating the benchmark. These findings indicate that HETERQA provides an effective testbed for record retrieval over heterogeneous sources and leaves substantial room for future retrieval methods. The benchmark dataset and source code are publicly available at https://huggingface.co/datasets/hanchang02/HeterQA and https://github.com/hanchang02/HeterQA, respectively.
• Abstract（参考訳）: 新興システム(ソーシャルメディアやeコマースプラットフォームなど)では、リレーショナルテーブル、テキストドキュメント、画像リポジトリ、空間データベース、知識グラフなどの異種データからデータ記録が引き出されることが多い。 したがって、質問応答(QA)タスクのターゲットレコードを取得するには、これら不均一なソースを共同で活用する必要がある。 しかし、既存のベンチマークのほとんどは個々のソースから構築されており、最近のベンチマークでは2つか3つのソースしか考慮されていない。 この問題を緩和するため, HETERQAは, ヘテロジニアスな5つのソース上でのレコード検索のための, 857QA対の総合ベンチマークである。 HETERQAはこの設定をYelpのビジネスレコードでインスタンス化する。 我々はHETERQAを回答駆動型で構築する: 候補レコードはまず、レコードフィールドの制約で初期化され、それからヘテロジニアスソースを通して豊かにされ、最後に自然言語の疑問が残る前に、必要なソース間で相互に検証される。 矛盾検出と人的検証によってベンチマークを検証し、同じ指標の下でスパース、密集、ハイブリッド、遅延相互作用、エージェントレトリバーを更に評価する。 ハイブリッド検索はRecall@10で最強,Self-RAGは最高のMRR@10で,評価されたすべてのメソッドはベンチマークの飽和には程遠いままである。 これらの結果から,HETERQAは異種情報源上でのレコード検索に有効なテストベッドを提供し,今後の検索手法に十分な余地を残していることが明らかとなった。 ベンチマークデータセットとソースコードは、https://huggingface.co/datasets/hanchang02/HeterQAとhttps://github.com/hanchang02/HeterQAで公開されている。

関連論文リスト

• Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
  Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。 我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。 本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
  論文  参考訳（メタデータ） (2026-03-09T18:20:20Z)
• HF-RAG: Hierarchical Fusion-based RAG with Multiple Sources and Rankers [9.867003380698238]
  ラベル付きおよびラベルなしデータの活用は、検索拡張生成において相補的な利点をもたらす可能性がある。 これらの異種源からの証拠を結合する手法を提案する。 事実検証タスクに対する我々のアプローチを評価し、最も優れた個人ランキングや情報源よりも一貫して改善されていることを実証する。
  論文  参考訳（メタデータ） (2025-09-02T21:03:40Z)
• MSRS: Evaluating Multi-Source Retrieval-Augmented Generation [51.717139132190574]
  多くの現実世界のアプリケーションは、複数のソースにまたがる情報を統合して要約する能力を必要としている。 本稿では、RAGシステムに対して異なるソース間で情報を統合するための評価ベンチマークを構築するためのスケーラブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-28T14:59:55Z)
• Hybrid-SQuAD: Hybrid Scholarly Question Answering Dataset [8.867885891794877]
  我々は,新しい大規模Scholarly Question AnsweringデータセットであるHybrid-SQuADを紹介する。 データセットは、大きな言語モデルによって生成される10.5Kの質問応答ペアで構成されている。 RAGベースのベースラインハイブリッドQAモデルを提案し、Hybrid-SQuADテストセット上で69.65の正確な一致スコアを達成する。
  論文  参考訳（メタデータ） (2024-12-03T19:37:00Z)
• Retrieval-Augmented Generation with Estimation of Source Reliability [28.70905685371307]
  Reliability-Aware RAG (RA-RAG) は、ソースの信頼性を推定する新しいマルチソースRAGフレームワークである。 RA-RAGはまず、複数のソース間で情報をクロスチェックすることで、ソースの信頼性を推定する。 その後、上位$kappa$の信頼性と関連するソースからドキュメントを検索し、重み付けされた多数決投票(WMV)を使用して情報を集約する。
  論文  参考訳（メタデータ） (2024-10-30T12:09:29Z)
• Open-domain Question Answering via Chain of Reasoning over Heterogeneous Knowledge [82.5582220249183]
  異種知識ソース間のシングル/マルチホップ質問に応答する新しいオープンドメイン質問応答(ODQA)フレームワークを提案する。 分離された証拠を収集するためにレトリバーにのみ依存する従来の方法とは異なり、我々の仲介者は検索された集合に対する推論の連鎖を実行する。 本システムは,2つのODQAデータセットであるOTT-QAとNQに対して,Wikipediaの表や節に対する競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-22T03:21:32Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。