論文の概要: How Fine-Grained Should a RAG Benchmark Be? A Hierarchical Framework for Synthetic Question Generation
- arxiv url: http://arxiv.org/abs/2606.12789v1
- Date: Thu, 11 Jun 2026 01:14:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.52455
- Title: How Fine-Grained Should a RAG Benchmark Be? A Hierarchical Framework for Synthetic Question Generation
- Title（参考訳）: RAGベンチマークはいかに細分化されるべきか? : 階層的な質問生成フレームワーク
- Authors: Chase M. Fensore, Kaustubh Dhole, Jason Fan, Eugene Agichtein, Joyce C. Ho,
- Abstract要約: HieraRAGはRAGベンチマーク構築の粒度を研究するための階層的なフレームワークである。
我々はFinWeb-10BTから3次元の合成質問応答(QA)ペアを5,872個生成する。
コヒーレンス比(Coherence Ratio)測度を導入し、細粒度分割がクリーンに分割されるかどうかを定量化する。
- 参考スコア（独自算出の注目度）: 10.49700178435632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating retrieval-augmented generation (RAG) systems requires benchmarks that capture diverse question characteristics, yet practitioners lack empirical guidance on which dimensions to vary and at what granularity. We present HieraRAG, a hierarchical framework for studying granularity in RAG benchmark construction, defining optimal granularity as the level that maximizes discriminative power (the standard deviation of generation quality across categories) within a given RAG configuration. As a case study, we generate 5,872 synthetic question-answer (QA) pairs from FineWeb-10BT across 3 dimensions (Question Complexity, Answer Type, Linguistic Variation) at 3 granularity levels (2, 4, and 8 categories). With a BM25+Falcon-3-10B pipeline, optimal granularity varies by dimension: complexity benefits from fine-grained distinctions (discriminative power: 0.053) while answer type and linguistic variation peak at medium granularity. We introduce a Coherence Ratio metric to quantify whether fine-grained splits cleanly subdivide parent categories, revealing structural differences across dimensions (Question Complexity: 0.40 vs. Answer Type: 1.44). Human evaluation of 110 stratified QA pairs confirms synthetic quality. While these specific findings reflect a single configuration, HieraRAG provides a portable procedure and validation metric for practitioners to determine evaluation granularity within their own RAG settings.
- Abstract（参考訳）: 検索強化世代(RAG)システムの評価には、多様な質問の特徴を捉えるベンチマークが必要であるが、どの次元がどの粒度に変化するかという経験的なガイダンスは欠如している。
本稿では,RAG ベンチマーク構築における粒度研究の階層的枠組みである HieraRAG について,与えられたRAG 構成内での識別力(カテゴリ間の生成品質の標準偏差)を最大化するレベルとして最適粒度を定義する。
ケーススタディでは,FinWeb-10BTから3次元(クエクション複雑度,アンサータイプ,言語変化)の3つの粒度レベル(2,4,8カテゴリ)で5,872の合成質問応答(QA)ペアを生成する。
BM25+Falcon-3-10Bパイプラインでは、最適な粒度は寸法によって異なる: 複雑さの利点は、粒度(識別力:0.053)から得られる。
コヒーレンス比(Coherence Ratio)測度を導入し、細粒度分割がきれいに分割された親圏かどうかを定量化し、次元間の構造的差異を明らかにする(クエクション複雑度: 0.40 vs. Answer Type: 1.44)。
110個の層状QAペアのヒトによる評価により, 合成品質が確認された。
これらの具体的発見は単一の構成を反映しているが、HieraRAGは実践者が自身のRAG設定内で評価の粒度を決定するためのポータブルな手順と検証指標を提供する。
関連論文リスト
- Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization [93.59040719904154]
本稿では,検証可能な環境を構成可能なビルディングブロックとして概念化するフレームワークであるRACES(textbfRecursive textbf Automated textbfComposition for textbfEnvironment textbfScaling)を紹介する。
RACESは300の個別環境で実装され、多様な推論パターンを誘導する合成演算子セットを定義している。
論文 参考訳（メタデータ） (2026-06-10T17:39:41Z) - FAB-Bench: A Framework for Adaptive RAG Benchmarking in Semiconductor Manufacturing [21.340021473068663]
半導体製造におけるRAGシステムの適応ベンチマークのためのエンドツーエンドフレームワークであるFAB-Benchを紹介する。
FAB-Benchは、事実的正確性、文脈的利用、完全性、検索関連性、技術的な深さ、推論一貫性を測定する6つの診断指標を定義している。
1,300以上の候補から,3つの合成戦略にまたがる200の問合せ対の高品質なベンチマークを算出した。
論文 参考訳（メタデータ） (2026-05-26T02:32:51Z) - Unlocking Biological Workflows for Robust Protein-Text Question Answering: A Dual-Dimensional RAG Framework [60.82334952881798]
タンパク-テキスト質問回答(QA)は、自然言語による生物学的配列の解釈に不可欠である。
2D-ProteinRAGは,大規模言語モデル(LLM)を金本位生物研究ワークフロー内で動作させる新しいフレームワークである。
本研究では,2D-Proteinが常に最先端の性能を達成し,微調整ベースラインや他のRAG法よりも優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2026-05-17T05:03:24Z) - Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval [0.0]
法律チームはますます、大量の契約上の証拠をトリアージするために機械学習を使用している。
多くのモデルは不透明で非決定論的であり、HIPAAやNERC-CIPのようなフレームワークと整合するのは難しい。
決定論的双対エンコーダと透明なファジィトリアージバンドに基づく簡単な再現可能な代替法について検討する。
論文 参考訳（メタデータ） (2026-03-08T00:31:34Z) - RAGRouter-Bench: A Dataset and Benchmark for Adaptive RAG Routing [37.7721677767453]
適応型RAGルーティング用に設計された最初のデータセットとベンチマークであるRAG-Benchを紹介する。
RAG-Benchは、クエリコーパスの互換性の観点から検索を再考し、5つの代表的なRAGパラダイムを体系的評価のために標準化する。
DeepSeek-V3 と LLaMA-3.1-8B による実験は、単一のRAGパラダイムが普遍的に最適であることを示した。
論文 参考訳（メタデータ） (2026-01-30T20:38:11Z) - DF-RAG: Query-Aware Diversity for Retrieval-Augmented Generation [4.193235647787737]
多様性に焦点をあてた検索生成(DF-RAG)について紹介する。
DF-RAGは、複雑な推論集約型QAベンチマークの性能向上のために、検索ステップに多様性を体系的に組み込む。
DF-RAGは,コサイン類似度を用いて,バニラRAGよりも4～10パーセント,推論集約QAベンチマークのF1性能を向上することを示した。
論文 参考訳（メタデータ） (2026-01-23T22:47:16Z) - Rethinking Composed Image Retrieval Evaluation: A Fine-Grained Benchmark from Image Editing [49.293939113428486]
Composed Image Retrieval (CIR) はマルチモーダル理解において重要かつ複雑なタスクである。
画像編集を利用して、変更タイプや内容の正確な制御を実現し、幅広いカテゴリのクエリを合成するパイプラインを実現する。
このパイプラインを用いて、新しい粒度CIRベンチマークであるEDIRを構築する。
論文 参考訳（メタデータ） (2026-01-22T17:26:52Z) - RAGSmith: A Framework for Finding the Optimal Composition of Retrieval-Augmented Generation Methods Across Datasets [0.0]
RAGSmithは、RAGを9つのテクニックファミリと46,080の実行可能なパイプライン構成上のエンドツーエンドアーキテクチャ検索として扱うフレームワークである。
我々は、ウィキペディア由来の6つのドメイン(Law, Finance, Medicine, Defense Industry, Computer Science)について、それぞれ100の質問を設計、解釈、長期回答のタイプで評価した。
RAGSmithは平均で+3.8%(ドメイン全体で+1.2%から+6.9%)、検索で+12.5%、世代で+7.5%である。
論文 参考訳（メタデータ） (2025-11-03T09:36:27Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。
本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
論文 参考訳（メタデータ） (2024-10-18T16:11:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。