論文の概要: Evaluating human and LLM screening workflows in a conceptually complex scoping review: Recall--workload trade-offs and run-to-run consistency

• arxiv url: http://arxiv.org/abs/2608.26885v1
• Date: Thu, 27 Aug 2026 09:42:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.333962
• Title: Evaluating human and LLM screening workflows in a conceptually complex scoping review: Recall--workload trade-offs and run-to-run consistency
• Title（参考訳）: 概念的に複雑なスコープレビューにおける人間とLLMスクリーニングワークフローの評価:リコール-ワークロードトレードオフと実行間一貫性
• Abstract要約: 大規模言語モデル(LLM)は証拠のスクリーニングにますます使われており、偽陰性はフルテキスト評価の前に関連する研究を除去することができる。 我々は、概念的に複雑なスコーピングレビューによって、人間とLLMのタイトル・アンド・アストラクション・スクリーニングを比較した。 作業負荷の維持,認定レコード316件の運用リコール,変動,実行時の一貫性,手続き的負担などを比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background. Large language models (LLMs) are increasingly used for screening in evidence synthesis, where false negatives can remove relevant studies before full-text assessment. We compared human and LLM title-and-abstract screening workflows in a preregistered study embedded in a conceptually complex scoping review. Methods. After a conservative title-only screen, 1,131 records were screened by one review lead, four trained assistants screening non-overlapping subsets, and seven complete LLM runs using different models and processing configurations, including a nominally identical repeat run. We compared retained workload, operational recall against 316 verified eligible records, agreement, run-to-run consistency, and procedural burden. Because eligibility was verified only for records advanced and assessed in the parent review, recall estimates were operational. Results. No workflow recovered all verified eligible records. The human workflows and two GPT-5.4 file-batch runs retained 42.2-45.0% of records while achieving 82.3-82.9% recall. Gemini 3.1 file batches achieved the highest recall (83.9%) but retained 56.7% of records. All-at-once configurations recovered fewer eligible records than corresponding file-batch configurations. Two nominally identical GPT-5.4 file-batch runs agreed on 91.7% of records but differed on 94 records, including 29 verified eligible records retained by only one run. Discussion. LLM screening performance depended on the implemented workflow, not model identity alone. Processing configuration, workload, record-level variation, and human-LLM decision integration are therefore substantive properties of deployed systems. For high-recall tasks, LLMs are better suited to validated, auditable, human-supervised workflows than autonomous exclusion.
• Abstract（参考訳）: 背景。 大規模言語モデル(LLM)は証拠合成のスクリーニングにますます使われており、偽陰性はフルテキストアセスメントの前に関連する研究を除去することができる。 我々は、概念的に複雑なスコーピングレビューに埋め込まれた事前登録研究において、人間とLLMのタイトル・アンド・アストラクション・スクリーニングワークフローを比較した。 メソッド。 保守的なタイトルオンリーのスクリーンの後、1,131レコードが1つのレビューリードによってスクリーニングされ、4つの訓練されたアシスタントが重複しないサブセットをスクリーニングし、7つの完全なLCMが異なるモデルと処理設定を使用して実行され、名目上は同じリピート実行が行われた。 作業負荷の維持,認定レコード316件の運用リコール,合意,実行時の整合性,手続き上の負担などを比較した。 適格性は、先進的な記録に対してのみ確認され、親レビューで評価されたため、リコール推定が実行された。 結果。 認定されたすべての記録を復元するワークフローはない。 人間のワークフローと2つのGPT-5.4ファイルバッチは42.2-45.0%を記録し、82.3-82.9%のリコールを達成した。 Gemini 3.1ファイルバッチは最高リコール(83.9%)を達成したが、56.7%の記録を残した。 All-at-once構成は、対応するファイルバッチ構成よりも適格レコードを回復した。 2つの名目上同一のGPT-5.4ファイルバッチは91.7%の記録で一致したが、94レコードでは異なっていた。 議論。 LLMのスクリーニング性能は、モデルアイデンティティのみでなく、実装されたワークフローに依存していた。 したがって、構成、ワークロード、レコードレベルの変動、人間とLLMの意思決定の統合は、デプロイされたシステムの実質的な特性である。 ハイリコールタスクでは、LLMは自律的排除よりも、検証され、監査可能で、人間の監督されたワークフローに適している。

関連論文リスト

• Validating Hybrid-State Cache Recovery for GLM-5.3-Flash with vLLM and LMCache [6.185334606321749]
  ハイブリッド言語モデルが一貫性のない状態から再開している間、外部キャッシュ転送が成功する。 既存のチェックポイントアライメント原理を45層GLM-5.3-Flashモデルに適用する。
  論文  参考訳（メタデータ） (2026-09-14T04:46:09Z)
• SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
  再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。 4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
  論文  参考訳（メタデータ） (2026-09-02T07:31:18Z)
• APIFlow-Bench: Measuring Whether Agents Survive Long, Dependent API Workflows [23.621239974604205]
  APIFlow-Benchは、長期依存のREST-APIパフォーマンスのための、完全に監査可能なベンチマークである。 サブタスクによってサブタスクとして,合成APIの世界を前方に生成する。 すべての応答キーと44,362個の未修正実行書き起こしをリリースします。
  論文  参考訳（メタデータ） (2026-08-29T08:12:11Z)
• Trace Integrity for LLM Data Agents: A Vision for Auditable Structured Reasoning in Real-World Systems [0.519554837386174]
  構造化データタスクでは、不正なトレースによってベンチマーク正解が生成される。 本稿では,回答の裏側で記録された計算が明確かどうかを評価するためのデプロイメント信頼性基準であるTrace Integrityを紹介する。 また,CAIT (Correct Answer / Invalid Trace) レートを導入し,回答のみの評価が計算支援出力をどれだけ成功させるかを測定する。
  論文  参考訳（メタデータ） (2026-08-26T17:15:24Z)
• HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries [1.5965246343492343]
  HIRAは、トレーニング不要でオンプレミスの検索拡張された、規制されたデプロイメントにおけるドキュメント分類のためのカスケードである。 信頼された文書は、検索によって直接分類され、不確実または視覚的に不確実な文書は、ローカルにホストされた検証者に渡される。 プライベートな80クラスのトレーディングファイナンスコーパスでは、HIRAが30,233のドキュメント生成ストリームを処理し、わずか1,945のドキュメントに対して人間の修正を要求する。
  論文  参考訳（メタデータ） (2026-08-22T06:19:19Z)
• Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
  Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。 Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。 500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
  論文  参考訳（メタデータ） (2026-08-01T18:25:00Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
  ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。 全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
  論文  参考訳（メタデータ） (2026-06-30T06:06:08Z)
• Iterative Audit Convergence in LLM-Managed Multi-Agent Systems: A Case Study in Prompt Engineering Quality Assurance [0.0]
  AEGISに適用されたエージェント駆動型監査の単一システム事例研究を報告する。 本報告では, 明示的な符号規則, 非単調な収束, 監査スコープの拡がりを含む7カテゴリーの欠陥分類を報告する。
  論文  参考訳（メタデータ） (2026-05-12T15:39:04Z)
• How Compliant Are GitHub Actions Workflows? A Checklist-Based Study with LLM-Assisted Auditing [0.0]
  GitHub Actions (GHA) CIは重要なインフラストラクチャだが、現在のツールは構文やチェックのみを提供する。 本稿では、4つのワークフローセクションと8つのテーマにまたがる30の基準を持つ、新しいドキュメントベースのGHAコンプライアンスチェックリストを提案する。
  論文  参考訳（メタデータ） (2026-05-03T23:21:13Z)
• APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
  LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。 我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
  論文  参考訳（メタデータ） (2026-03-31T00:24:56Z)
• LLMs Can Patch Up Missing Relevance Judgments in Evaluation [56.51461892988846]
  我々は、大きな言語モデル(LLM)を使って、不確定な文書を自動的にラベル付けします。 TREC DLトラックの関連性判定から関連文書をランダムにドロップすることで,穴の度合いの異なるシナリオをシミュレートする。 Vicuna-7B と GPT-3.5 Turbo の平均値に対して,Kendall tau の0.87 と 0.92 の相関式が得られた。
  論文  参考訳（メタデータ） (2024-05-08T00:32:19Z)
• MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents [62.02920842630234]
  GPT-4レベルの性能を持つが400倍の低コストでファクトチェックモデルを構築する方法を示す。 GPT-4を用いて合成トレーニングデータを構築することで,現実的かつ困難な事実エラーの事例を生成する。 評価のために, ファクトチェックとグラウンドグラウンド化に関する最近の研究から得られたデータセットを, 新たなベンチマーク LLM-AggreFact に統一する。
  論文  参考訳（メタデータ） (2024-04-16T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。