論文の概要: Evaluating Factual Density in Multi-Source RAG: A Study in Medical AI Accuracy
- arxiv url: http://arxiv.org/abs/2605.31506v1
- Date: Fri, 29 May 2026 16:25:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.744025
- Title: Evaluating Factual Density in Multi-Source RAG: A Study in Medical AI Accuracy
- Title（参考訳）: マルチソースRAGにおけるFactual densityの評価:医療AIの精度に関する研究
- Abstract要約: 本稿では,新しい最適化信号であるFactual Density (FD*)を紹介する。
これは、全トークン数に対する検証済み原子クレームの比率を測定する。
FD*は、トップ5の結果で100%の体系的なレビュー飽和を達成する唯一の条件であった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) is the current industry standard for grounding AI in real-world facts. Traditional retrieval methods rely on keyword matching and topic proximity, ranking content based on how closely it sounds like the user's query. What they do not measure is how many verified facts the content actually contains. This structural gap, termed the Expert Blindness Effect, causes standard RAG pipelines to consistently bury high-density factual evidence in favor of lexically dominant text on the same topic. To address this gap, this paper introduces Factual Density (FD*), a novel retrieval optimization signal that measures the proportion of verified atomic claims relative to total token count. Using the NexusAgentics Ghost Audit preprocessing pipeline, raw text is scored for factual specificity using probabilistic factuality analysis to filter content before corpus ingestion. An initial formulation introduced a severe document-length confound (Pearson R = -0.8636, p = 2.27e-07). Implementing Z-score normalization within length bins resolved this bias, validating FD* as a length-independent density signal (p = 0.0749). Evaluated against the HealthFC benchmark (750 health claims labeled Supported, Refuted, or No Evidence by medical experts), FD*-optimized retrieval was the only condition to achieve 100% systematic review saturation in top-5 results, surfacing Cochrane evidence that standard cosine similarity ranked outside the top ten. Ground truth verification confirmed 25 mappings across seven HealthFC-supported claims. While full statistical validation across n=50 queries remains future work due to constraints on corpus-benchmark alignment, these findings establish factual density reranking as a low-cost, high-impact intervention for improving factual precision in health RAG architectures.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、AIを現実の事実に基盤を置くための現在の業界標準である。
従来の検索手法はキーワードマッチングとトピック近接に頼り、ユーザーのクエリにどの程度近いかに基づいてコンテンツをランク付けする。
彼らが測定していないのは、コンテンツが実際に含まれている検証済み事実の数だ。
この構造的ギャップは、エキスパート・ブラインドネス・エフェクト(Expert Blindness Effect)と呼ばれ、標準的なRAGパイプラインは、同じトピックにおいて語彙的に支配的なテキストを優先して、常に高密度の事実証拠を埋める。
このギャップに対処するため、本研究では、全トークン数に対する検証済み原子クレームの割合を測定する新しい検索最適化信号であるFactual Density (FD*)を紹介する。
NexusAgentics Ghost Audit事前処理パイプラインを使用して、生テキストは、確率的事実性分析を用いて、コーパス摂取前のコンテンツをフィルタリングする。
最初の定式化では、重い文書長の共焦点(ピアソン R = -0.8636, p = 2.27e-07)が導入された。
長さビン内のZスコア正規化を実装することで、このバイアスを解消し、FD* を長さ非依存密度信号 (p = 0.0749) として検証した。
健康FCのベンチマーク(750の健康クレームは、医療専門家によるサポート、反感、またはノーエビデンスと名付けられている)に対して評価され、FD*最適化された検索は、トップ5の結果において100%体系的なレビュー飽和を達成する唯一の条件であり、コクランの証拠は、標準コサインの類似性がトップ10の外にランク付けされている。
身元確認は、HealthFCが支援する7つのクレームの25のマッピングを確認した。
n=50クエリの完全な統計的検証は、コーパス・ベンチマークアライメントの制約により、今後の作業が続けられるが、これらの発見は、健康RAGアーキテクチャの事実精度を改善するための、低コストで高インパクトな介入として、事実密度を再評価するものである。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Recovering Clinical Utility Under Differential Privacy: Empirical Validation of Adaptive Federated Aggregation on Heterogeneous Cardiovascular Datasets [0.06372261626436676]
本研究は、FedCVRフレームワークを利用可能な5つのリアル心臓血管データセット上で検証することで、このギャップに対処する。
その結果、FedCVRは実データに対する適応的な優位性を維持しており、F1スコアは79.2%、AUCは0.96であることがわかった。
実データ上で測定されたプライバシーコストは、合成実験で観察された優雅な劣化パターンを確認する。
論文 参考訳（メタデータ） (2026-07-07T18:51:13Z) - Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach [0.0]
本研究は,RAG検索ランキングの簡易かつ解釈可能な変更について評価する。
このフレームワークは120文書の健康ドメインコーパスの類似性のみのベースラインに対して評価される。
source-aware re ranking は Precision@5 を 0.48 から 0.72 に改善し、平均敵対的なドキュメント検索を減らす。
論文 参考訳（メタデータ） (2026-06-08T14:09:04Z) - Benchmarking Retrieval Strategies for Biomedical Retrieval-Augmented Generation: A Controlled Empirical Study [0.0]
本稿では,生物医学的質問応答RAGパイプラインにおける5つの検索戦略の体系的比較について述べる。
すべての戦略は固定生成モデル(GPT-4o-mini)、共通ベクトルストア(ChromaDB)、OpenAIのテキスト-em-3-小埋め込みを共有している。
BioASQベンチマークの前処理部分集合から抽出した250の質問応答対について評価を行った。
論文 参考訳（メタデータ） (2026-05-04T12:21:46Z) - Alignment Imprint: Zero-Shot AI-Generated Text Detection via Provable Preference Discrepancy [51.887915969023965]
現代のLarge Language Models (LLMs) がアライメントされ、測定可能な分布インプリントが残されていることを示す。
高エントロピー領域における不安定性を軽減するため、ログライクなアライメント・アライメント・プレフレパシー(LAPD)を導入する。
LAPDはアライメントインプリントに基づく標準化された情報重み統計である。
論文 参考訳（メタデータ） (2026-04-18T09:12:24Z) - Mitigating LLM Hallucinations through Domain-Grounded Tiered Retrieval [0.0]
大型言語モデル (LLM) は前例のない流布を達成したが、「幻覚」の影響を受けないままである。
本研究では,LLMをパターンマッチングから真偽探索へシフトさせることにより,事実不正確さを検知する階層型検索・検証アーキテクチャを提案する。
システムは5つの多様なベンチマークから650のクエリで評価された。
論文 参考訳（メタデータ） (2026-03-18T15:59:30Z) - MedScore: Generalizable Factuality Evaluation of Free-Form Medical Answers by Domain-adapted Claim Decomposition and Verification [51.82420076479152]
MedScoreは、医学的回答を条件対応の有効な事実に分解し、ドメイン内コーパスに対する検証を行うための新しいパイプラインである。
提案手法は,既存の方法に比べて最大3倍有効な事実を抽出し,幻覚や曖昧な参照を低減し,事実の条件依存性を維持する。
論文 参考訳（メタデータ） (2025-05-24T01:23:09Z) - Enhancing Domain-Specific Retrieval-Augmented Generation: Synthetic Data Generation and Evaluation using Reasoning Models [0.6827423171182154]
Retrieval-Augmented Generation (RAG) システムは、技術的領域に適用した場合、大きなパフォーマンスギャップに直面します。
ドメイン固有のRAG性能を最適化するために、粒度評価指標と合成データ生成を組み合わせたフレームワークを提案する。
10トークン未満の小さなチャンクは、精度を31-42%向上させます。
論文 参考訳（メタデータ） (2025-02-21T06:38:57Z) - Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳（メタデータ） (2024-10-07T00:09:50Z) - FactGenius: Combining Zero-Shot Prompting and Fuzzy Relation Mining to Improve Fact Verification with Knowledge Graphs [0.0]
FactGeniusは,大規模言語モデルのゼロショットプロンプトと知識グラフ上のファジィテキストマッチングを組み合わせることで,ファクトチェックを強化する新しい手法である。
事実検証のベンチマークデータセットであるFactKG上でのFactGeniusの評価は、既存のベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2024-06-03T13:24:37Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z) - Post-Contextual-Bandit Inference [57.88785630755165]
コンテキストバンディットアルゴリズムは、電子商取引、医療、政策立案における非適応的なA/Bテストを置き換える傾向にある。
研究参加者の成果を改善することもでき、良い方針や最良の政策を特定できる可能性を高めることもできる。
研究の終盤における新規介入の信頼性推論を支援するため, 平均治療効果, サブグループ効果, あるいは新政策の価値について, 有効な信頼区間を構築したい。
論文 参考訳（メタデータ） (2021-06-01T12:01:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。