論文の概要: SciRet: A Compute-Aware Empirical Study of Retrieval and Reranking for Scientific RAG
- arxiv url: http://arxiv.org/abs/2608.03860v1
- Date: Tue, 04 Aug 2026 16:04:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.273874
- Title: SciRet: A Compute-Aware Empirical Study of Retrieval and Reranking for Scientific RAG
- Title(参考訳): SciRet: 科学的RAGの検索とランク付けに関するコンピュータによる実証的研究
- Abstract要約: 我々は,CORD-19上での科学的質問応答に対する検索強化生成をコンピュータに認識した実証研究であるSciRetを紹介した。
我々は, 1,034チャンク (1K論文), 5,160チャンク (5K論文), 15,480チャンク (15K論文) の3つのコーパススケールにわたる固定科学的RAGパイプラインの評価を行った。
これらの設定全体では、ハイブリッド検索はスパースオンリーまたは密度オンリーの検索よりも堅牢で、1Kおよび15Kで1.000のRecall@10に達する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce SciRet, a compute-aware empirical study of retrieval-augmented generation for scientific question answering over CORD-19. Rather than proposing a new model, we evaluate a fixed scientific RAG pipeline across three corpus scales: 1,034 chunks (1K papers), 5,160 chunks (5K papers), and 15,480 chunks (15K papers). The pipeline combines sentence-window chunking, BM25, BGE-M3 dense retrieval, reciprocal rank fusion, optional cross-encoder reranking, and grounded answer generation. Across these settings, hybrid retrieval is more robust than either sparse-only or dense-only retrieval in our setting, reaching Recall@10 of 1.000 at 1K and 15K. In contrast, an MS MARCO-trained cross-encoder reranker reduces precision on the scientific corpus, suggesting that domain mismatch can outweigh the benefits of stronger query-passage interaction. Generation faithfulness measured with RAGAS increases with corpus scale in our setup. Retrieval evaluation uses pseudo-relevance labels derived from the hybrid system, so we treat the results as controlled comparative evidence rather than a benchmark claim. We release code, indexes, and evaluation outputs to support replication and follow-up studies.
- Abstract(参考訳): 我々は,CORD-19上での科学的質問応答のための検索強化生成をコンピュータに認識した実証研究であるSciRetを紹介する。
新たなモデルを提案するのではなく,1,034チャンク(1K論文),5,160チャンク(5K論文),15,480チャンク(15K論文)という,3つのコーパススケールにわたる固定科学的RAGパイプラインを評価した。
パイプラインは文ウィンドウチャンキング、BM25、BGE-M3高密度検索、相互階数融合、オプションのクロスエンコーダ再配置、グラウンドド応答生成を組み合わせたものである。
これらの設定全体では、ハイブリッド検索はスパースオンリーまたは密度オンリーの検索よりも堅牢で、1Kおよび15Kで1.000のRecall@10に達する。
対照的に、MS MARCO-trained cross-encoder rerankerは、科学的コーパスの精度を低下させ、ドメインミスマッチはより強力なクエリ-パス相互作用の利点を上回る可能性があることを示唆している。
RAGASで測定した忠実度は, コーパススケールで増大する。
Retrieval Evaluation using pseudo-relevance labels from the hybrid system, we treat the results as control comparative evidence than a benchmark claim。
複製とフォローアップ研究をサポートするために、コード、インデックス、評価出力をリリースします。
関連論文リスト
- Kernel Affine Hull Machines for Compute-Efficient Query-Side Semantic Encoding [1.4021008554367664]
トランスフォーマーに基づくセマンティック検索は非常に効果的であるが、多くのデプロイメントにおいて、コーパスインデックスよりもオンラインクエリエンコーディングが主なコストとなっている。
定型的質問適応問題について検討し、決定関連検索品質を劣化させることなく、繰り返しのニューラル推論を軽量で分析学的に明示的な推定器に置き換えることができるかどうかを問う。
本稿では, 安価な語彙特徴を冷凍セマンティック埋め込み空間にマッピングするKernel Affine Hull Machines (KAHMs) を提案する。
制御されたオーストリア法定ベンチマーク(5000のクエリ、84の法則、10,762のユニット)において、KAHMは最強となる
論文 参考訳(メタデータ) (2026-05-01T17:46:26Z) - From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents [0.0]
スパース, 密度, ハイブリッド融合, クロスエンコーダリグレード, クエリ拡張, インデックス拡張, 適応検索にまたがる10の検索戦略をベンチマークした。
我々はRecall@k,MRR,nDCGによる検索品質とNumber Matchによるエンドツーエンド生成品質を評価する。
論文 参考訳(メタデータ) (2026-04-02T07:53:40Z) - Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳(メタデータ) (2026-03-12T19:18:59Z) - Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳(メタデータ) (2026-03-09T18:20:20Z) - Open Horizons: Evaluating Deep Models in the Wild [0.0]
CIFAR-10におけるオープンセット認識(OSR)とクラスインクリメンタル学習(FSCIL)の併用に関する統一実験を行った。
OSRでは、ResNet-50、ConvNeXt-Tiny、CLIP ViT-B/16の3つの事前学習された凍結型視覚エンコーダを比較し、線形プローブと4つのポストホックスコア関数(MSP、Energy、Mahalanobis、kNN)を使用。
FSCILでは,部分凍結型ResNet-50を用いたSPPR,OrCo,ConCMの比較を行った。
論文 参考訳(メタデータ) (2025-12-13T03:03:59Z) - Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク
提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。
HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
論文 参考訳(メタデータ) (2025-10-12T05:38:10Z) - ModernBERT + ColBERT: Enhancing biomedical RAG through an advanced re-ranking retriever [0.5371337604556311]
我々は、ColBERTv2遅延相互作用モデルを用いて、高速な初期候補検索のための軽量なModernBERT双方向エンコーダを開発した。
検索モジュールの解析により,ColBERT再ランカの正の影響が確認され,Recall@3が最大4.2ポイント向上した。
我々のアブレーション研究では、この性能が、レトリバーと再ランカを整列する関節細調整プロセスに極めて依存していることが判明した。
論文 参考訳(メタデータ) (2025-10-06T12:34:55Z) - AIRwaves at CheckThat! 2025: Retrieving Scientific Sources for Implicit Claims on Social Media with Dual Encoders and Neural Re-Ranking [0.0]
Team AIRwavesはCLEF-2025 CheckThat! LabのSubtask 4bで2位にランクインした。
このベースラインを超えるために、 (i) E5-largeをベースとしたデュアルエンコーダを使用する第1ステージ、および (i) SciBERTクロスエンコーダを用いて、バッチとマイニングされたハードネガを使用して微調整を行い、チャンクトークン化とリッチドキュメントメタデータによって強化された第1ステージ、 (ii) ニューラルネットワーク再ランクステージを導入する。
論文 参考訳(メタデータ) (2025-09-23T19:26:31Z) - KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain
Question Answering [68.00631278030627]
検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。
我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
論文 参考訳(メタデータ) (2021-10-08T18:39:59Z) - Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。
AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。
これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
論文 参考訳(メタデータ) (2021-10-07T16:41:15Z) - CO-Search: COVID-19 Information Retrieval with Semantic Search, Question
Answering, and Abstractive Summarization [53.67205506042232]
CO-Searchは、新型コロナウイルスの文献上の複雑なクエリを処理するように設計された、レトリバーランサーセマンティック検索エンジンである。
ドメイン固有の比較的限られたデータセットを考慮し、文書の段落と引用の2部グラフを生成する。
TREC-COVID情報検索課題のデータに基づいて,本システムの評価を行った。
論文 参考訳(メタデータ) (2020-06-17T01:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。