論文の概要: A Collection of Systematic Reviews in Computer Science
- arxiv url: http://arxiv.org/abs/2604.16330v1
- Date: Wed, 11 Mar 2026 12:30:05 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-05-03 16:27:46.468462
- Title: A Collection of Systematic Reviews in Computer Science
- Title（参考訳）: コンピュータ科学におけるシステムレビュー集
- Authors: Pierre Achkar, Tim Gollub amd Martin Potthast,
- Abstract要約: 本稿では,コンピュータ科学における体系的レビューの大規模収集であるSR4CSを紹介する。
コーパスは、専門家が設計したBoolean検索クエリで1,212の体系的なレビューで構成されている。
その結果,検索パラダイム間の精度,リコール,ランキング行動の系統的差異が明らかになった。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Systematic reviews are the standard method for synthesizing scientific evidence, but their creation requires substantial manual effort, particularly during retrieval and screening. While recent work has explored automating these steps, evaluation resources remain largely confined to the biomedical domain, limiting reproducible experimentation in other domains. This paper introduces SR4CS, a large-scale collection of systematic reviews in computer science, designed to support reproducible research on Boolean query generation, retrieval, and screening. The corpus comprises 1,212 systematic reviews with their original expert-designed Boolean search queries, 104,316 resolved references, and structured methodological metadata. For controlled evaluation, the original Boolean queries are additionally provided in a normalized, approximated form operating over titles and abstracts. To illustrate the intended use of the collection, baseline experiments compare the approximated expert Boolean queries with zero-shot LLM-generated Boolean queries, BM25, and dense retrieval under a unified evaluation setting. The results highlight systematic differences in precision, recall, and ranking behavior across retrieval paradigms and expose limitations of naive zero-shot Boolean generation. SR4CS is released under an open license on Zenodo (https://doi.org/10.5281/zenodo.17163932), together with documentation and code (https://github.com/webis-de/scolia26-sr4cs), to enable reproducible evaluation and future research on scaling systematic review automation.
- Abstract（参考訳）: 体系的レビューは、科学的証拠を合成する標準的な方法であるが、その作成には、特に検索とスクリーニングにおいて、かなりの手作業が必要である。
最近の研究はこれらのステップの自動化について検討しているが、評価資源は生医学領域に限られており、他の領域での再現可能な実験を制限している。
本稿では,計算機科学における体系的レビューの大規模コレクションであるSR4CSを紹介し,ブールクエリ生成,検索,スクリーニングに関する再現可能な研究を支援する。
コーパスは1,212の体系的なレビューと、専門家が設計したBoolean検索クエリ、104,316の解決された参照、構造化された方法論メタデータを含む。
制御された評価のために、オリジナルのBooleanクエリは、タイトルや抽象化を操作する正規化され、近似された形式で追加提供される。
コレクションの意図された使用を説明するため,ベースライン実験では,近似された専門家BooleanクエリとゼロショットLLM生成Booleanクエリ,BM25,高密度検索を統一評価条件下で比較した。
その結果,検索パラダイム間の精度,リコール,ランク付け行動の体系的差異が強調され,ゼロショットブール生成の限界が露呈された。
SR4CSはZenodo(https://doi.org/10.5281/zenodo.17163932)のオープンライセンスの下でリリースされ、ドキュメントとコード(https://github.com/webis-de/scolia26-sr4cs)とともに、再現可能な評価と、システムのレビュー自動化のスケーリングに関する将来の研究を可能にする。
関連論文リスト
- A Large-Scale, Cross-Disciplinary Corpus of Systematic Reviews [20.88655348694586]
Webis-SR4ALL-26は、OpenAlexがカバーしているすべての科学分野にまたがる体系的なレビューである301,871の大規模な学際コーパスである。
複数段階の事前処理パイプラインを用いて、解決されたOpenAlexメタデータと参照リストにレビューをリンクし、明示的に報告された場合、検索およびスクリーニングに関連する構造化されたメソッドアーティファクトを抽出する。
論文 参考訳（メタデータ） (2026-04-23T07:56:50Z) - HeurekaBench: A Benchmarking Framework for AI Co-scientist [2.206319727896241]
HeurekaBenchは、実験データセットに対する探索的でオープンな研究質問を伴うベンチマークを作成するためのフレームワークである。
単細胞生物学のフレームワークをインスタンス化し、Sc-HeurekaBenchベンチマークを取得し、最先端の単細胞エージェントと比較する。
批判モジュールを追加することで、オープンソースLLMエージェントの不正な応答を最大22%改善し、クローズドソースエージェントとのギャップを埋めることができる。
論文 参考訳（メタデータ） (2026-01-04T22:16:42Z) - CodeScientist: End-to-End Semi-Automated Scientific Discovery with Code-based Experimentation [48.12054700748627]
CodeScientistは、遺伝的検索の形式として、アイデアと実験を共同で行う新しいASDシステムである。
我々はこのパラダイムを用いて、エージェントと仮想環境の領域において、機械生成のアイデアを幅広く数百もの自動実験する。
論文 参考訳（メタデータ） (2025-03-20T22:37:17Z) - Measuring Risk of Bias in Biomedical Reports: The RoBBR Benchmark [5.549390587677274]
本稿では,バイオメディカルペーパーの方法論的強度を測定するためのベンチマークを提案する。
我々は、体系的なレビューに使用されるリスク・オブ・バイアス・フレームワークについて説明する。
分析の結果,大規模言語モデルの推論と検索能力がリスク・オブ・バイアス評価の有効性に影響を及ぼすことが示された。
論文 参考訳（メタデータ） (2024-11-28T00:21:31Z) - Bisimulation Learning [55.859538562698496]
我々は、大きな、潜在的に無限の状態空間を持つ状態遷移系の有限バイシミュレートを計算する。
提案手法は,実際に行われている他の最先端ツールよりも高速な検証結果が得られる。
論文 参考訳（メタデータ） (2024-05-24T17:11:27Z) - Zero-shot Generative Large Language Models for Systematic Review
Screening Automation [55.403958106416574]
本研究では,ゼロショット大言語モデルを用いた自動スクリーニングの有効性について検討した。
本研究では, 8種類のLCMの有効性を評価し, 予め定義されたリコール閾値を用いた校正手法について検討する。
論文 参考訳（メタデータ） (2024-01-12T01:54:08Z) - Evaluating Generative Ad Hoc Information Retrieval [58.800799175084286]
生成検索システムは、しばしばクエリに対する応答として、接地された生成されたテキストを直接返す。
このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。
論文 参考訳（メタデータ） (2023-11-08T14:05:00Z) - Neural Rankers for Effective Screening Prioritisation in Medical
Systematic Review Literature Search [31.797257552928336]
本稿では,事前学習した言語モデルを,体系的なレビュー文書ランキングタスクに適用する。
経験的分析は、このタスクの従来の方法と比較して、ニューラルネットワークがいかに効果的かを比較する。
以上の結果から,BERTをベースとしたランカは,現在のスクリーニング方法よりも優れていた。
論文 参考訳（メタデータ） (2022-12-18T05:26:40Z) - Deconstructing Self-Supervised Monocular Reconstruction: The Design
Decisions that Matter [63.5550818034739]
本稿では,自己教師付き単分子深度推定への最先端の貢献を評価するための枠組みを提案する。
事前トレーニング、バックボーン、アーキテクチャ設計の選択、損失関数が含まれる。
我々は16の最先端コントリビューションを再実装し、検証し、再評価し、新しいデータセットを導入します。
論文 参考訳（メタデータ） (2022-08-02T14:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。