論文の概要: Knowledge Synthesis Review Framework: Task-Level Benchmarking of LLM-Based Systems for Multi-Source Evidence Synthesis

• arxiv url: http://arxiv.org/abs/2608.12741v1
• Date: Thu, 13 Aug 2026 02:41:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.368844
• Title: Knowledge Synthesis Review Framework: Task-Level Benchmarking of LLM-Based Systems for Multi-Source Evidence Synthesis
• Title（参考訳）: 知識合成レビューフレームワーク:マルチソースエビデンス合成のためのLCMベースのシステムのタスクレベルベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、この作業を加速するかもしれないが、レビューの認知的タスクに対する信頼性は依然として不確実である。 我々は,エビデンス合成をスクリーニング,抽出,解析,合成に分解する「知識合成レビュー(KSR)」を紹介した。 我々は、GPT-5, Claude Sonnet 4, Gemini 2.5 Pro, NotebookLMを、AI上の1,893文書コーパスから抽出した244文書のベンチマークサブセットで評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evidence in rapidly evolving fields is fragmented across academic studies, industry reports, policy documents, and media sources that differ in quality, structure, and purpose, making timely synthesis difficult. Large language models (LLMs) may accelerate this work, but their reliability across the distinct cognitive tasks of a review remains uncertain. We introduce the Knowledge Synthesis Review (KSR), a human-in-the-loop framework that decomposes evidence synthesis into screening, extraction, analysis, and synthesis, benchmarks LLM-based systems on each task against expert reference standards, and routes each task to the best-performing system under continuous expert validation. We evaluated GPT-5, Claude Sonnet 4, Gemini 2.5 Pro, and NotebookLM on a 244-document benchmark subset drawn from a 1,893-document corpus on AI and work spanning four source types, against a gold standard with high inter-rater reliability (92.2% agreement, kappa = 0.80). No system led on all tasks. Claude Sonnet 4 achieved the highest screening accuracy (82.8%) and GPT-5 the highest recall (91.8%) at the expense of lower specificity. Extraction exceeded 90% agreement for titles and sources but degraded in author and reference fields. Performance declined most in interpretive analysis and cross-source synthesis, where expert judgment remained essential. A contamination check on post-cutoff documents showed no evidence that prior exposure inflated results. Applied to the full corpus, the routed workflow surfaced cross-source asymmetries and blind spots that single-source synthesis would miss, including worker well-being, small firms, and the Global South. KSR offers a transparent, auditable, model-agnostic framework for governing LLM assistance in research synthesis while preserving human accountability.
• Abstract（参考訳）: 急速に発展する分野における証拠は、品質、構造、目的によって異なる学術研究、産業報告、政策文書、メディアソースで断片化され、タイムリーな合成が困難になる。 大規模言語モデル(LLM)はこの研究を加速するかもしれないが、その信頼性はレビューの認知的タスクによって異なる。 提案手法は,評価,抽出,分析,合成にエビデンス合成を分解し,専門家基準に対して各タスク上のLCMベースのシステムをベンチマークし,各タスクを連続的専門家検証の下で最高の性能のシステムにルーティングする。 我々は、GPT-5、Claude Sonnet 4、Gemini 2.5 Pro、NotebookLMを、高信頼性(92.2%、カッパ=0.80)のゴールド標準に対して、AIと4つのソースタイプにまたがる1,893のドキュメントコーパスから作成した244文書ベンチマークサブセットで評価した。 全てのタスクに繋がるシステムは存在しない。 クロード・ソネット4号は高いスクリーニング精度(82.8%)を達成し、GPT-5は低い特異性を犠牲にして最も高いリコール(91.8%)を達成した。 抜粋はタイトルとソースの90%を超えるが、著者と参照の分野では劣化した。 性能は、専門家の判断が不可欠であった解釈分析とクロスソース合成において最も低下した。 カットオフ後の文書の汚染検査では、以前の暴露結果が膨らんだ証拠は示されなかった。 完全なコーパスに適用された、ルート化されたワークフローは、労働者の幸福や小規模企業、グローバル・サウスなど、単一ソースの合成が見逃すような、クロスソースな非対称性と盲点を表面化した。 KSRは、人間の説明責任を保ちながら研究合成におけるLLM支援を管理するための透明で監査可能な、モデルに依存しないフレームワークを提供する。

関連論文リスト

• Benchmarking LLM Agents on Meta-Analysis Articles from Nature Portfolio [30.68853022964377]
  我々はNature Portfolio誌から442名の専門家によるメタアナリシスのデータセットであるMetaSynを紹介する。 各エントリは、PI/ECO基準、140k項目の検索コーパス、実証された肯定的な研究、相対的に類似しているがPI/ECOは無視できない硬い負の2つの研究課題をペアリングする。 K=200では90.9%のリコールがあったが、52.7%以上の文献を復元するシステムはない。
  論文  参考訳（メタデータ） (2026-06-15T17:56:41Z)
• ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence [57.37494162084001]
  チェーン・オブ・エビデンス(Chain-of-Evidence, CoE)は、すべてのクレームがエビデンス・ソースにトレース可能であることを要求する検証可能なフレームワークである。 CoE Auditはポストホック監査であり、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックが全システムに均一に適用される。
  論文  参考訳（メタデータ） (2026-05-25T21:30:27Z)
• Inductive Deductive Synthesis: Enabling AI to Generate Formally Verified Systems [100.24694338574402]
  本稿では,インダクティブ・デダクティブ・シンセシス(IDS)について述べる。 IDSは約6.8時間で7/7を達成し、1仕様あたり106ドル、専門家の努力の約200倍、SOTAエージェントの約17%を達成している。 IDSはパフォーマンスフィードバックを同じループに組み込んでおり、検証されたシステムよりも最大3倍高速な実装を実現している。
  論文  参考訳（メタデータ） (2026-05-22T00:05:36Z)
• Benchmarking Large Language Models for Safety Data Extraction [0.0]
  本研究では、SDSデータの自動抽出のための最先端の大規模言語モデル(LLM)をベンチマークする。 Gemini 1.5 Pro, GPT-4o, Claude 3.7 Sonnet, Llama 3.1-70Bの4つのモデルについて, 3つのプロンプト戦略について検討した。 その結果、テキストベースの抽出は、すべてのメトリクスでマルチモーダル処理を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-04-22T12:12:25Z)
• OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
  OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。 回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。 OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
  論文  参考訳（メタデータ） (2026-01-04T15:48:51Z)
• PaperAsk: A Benchmark for Reliability Evaluation of LLMs in Paper Search and Reading [24.52586571116556]
  大規模言語モデル (LLMs) は研究助手としての役割を担っているが、学術的なタスクに対する信頼性は低い評価のままである。 本研究では,4つの主要な研究課題を対象としたLCMを体系的に評価するベンチマークであるPaperAskを紹介する。 引用検索は48～98%のマルチ参照クエリで失敗し、セクション固有のコンテンツ抽出は72～91%のケースで失敗し、トピックの論文発見ではF1スコアが0.32未満となり、関連する文献の60%以上が失われている。
  論文  参考訳（メタデータ） (2025-10-25T10:11:29Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Beyond Memorization: Reasoning-Driven Synthesis as a Mitigation Strategy Against Benchmark Contamination [77.69093448529455]
  本稿では,arXiv論文から直接研究レベルのQAを合成するために,無限にスケーラブルなフレームワークを用いて実証的研究を行う。 各種サイズ,開発者,リリース日といったモデルについて,知識カットオフ日に近い性能劣化の欠如を評価した。 合成パイプラインで要求される多段階の推論は、浅い記憶よりも深い複雑さをもたらしたと仮定する。
  論文  参考訳（メタデータ） (2025-08-26T16:41:37Z)
• HySemRAG: A Hybrid Semantic Retrieval-Augmented Generation Framework for Automated Literature Synthesis and Methodological Gap Analysis [55.2480439325792]
  HySemRAGは、Extract, Transform, Load (ETL)パイプラインとRetrieval-Augmented Generation (RAG)を組み合わせたフレームワークである。 システムは、マルチ層アプローチを通じて既存のRAGアーキテクチャの制限に対処する。
  論文  参考訳（メタデータ） (2025-08-01T20:30:42Z)
• Evaluating the Use of LLMs for Documentation to Code Traceability [3.076436880934678]
  大規模言語モデルは、様々なソフトウェアドキュメンテーションとソースコードの間のトレースリンクを確立することができる。 私たちは2つのオープンソースプロジェクト(Unity CatalogとCrawl4AI)から2つの新しいデータセットを作成します。 その結果、最高の性能のLLMは2つのデータセットで79.4%と80.4%のF1スコアを達成した。
  論文  参考訳（メタデータ） (2025-06-19T16:18:53Z)
• Development and Validation of the Provider Documentation Summarization Quality Instrument for Large Language Models [3.0569643495382173]
  The Provider Summarization Quality Instrument (PDSQI-9) was developed to evaluate LLM- generated clinical summaries。 検証には、実体的妥当性のためのピアソン相関、因子分析、構造的妥当性のためのクロンバッハのαが含まれていた。 PDSQI-9は強い内部整合性と信頼性を示した。
  論文  参考訳（メタデータ） (2025-01-15T17:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。