論文の概要: PRISMA-LLM: An Empirical Reporting Framework for AI-Assisted Systematic Reviews

• arxiv url: http://arxiv.org/abs/2609.11559v1
• Date: Thu, 10 Sep 2026 13:50:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.376516
• Title: PRISMA-LLM: An Empirical Reporting Framework for AI-Assisted Systematic Reviews
• Title（参考訳）: PRISMA-LLM:AI支援システムレビューのための実証レポートフレームワーク
• Abstract要約: 大規模言語モデル(LLM)とAI対応ソフトウェアは、体系的レビュー決定にますます参加している。 SciLitBenchは、14,726のアノテーションで888のレビュー自動化論文のコーパスである。
• 参考スコア（独自算出の注目度）: 11.032420506181259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) and AI-enabled software increasingly participate in systematic-review decisions, yet the information needed to audit these workflows is reported inconsistently. We analyze SciLitBench, a corpus of 888 review-automation papers with 14,726 annotations, to characterize changes in methods, review-stage use, evaluation and reported limitations. Automation has shifted toward LLM- and software-facing workflows, including stages that can alter the evidence base. Since 2023, 38.0% of software/product papers reported no evaluation, compared with 9.3% of LLM papers. Reporting coverage increased with LLM workflow complexity, yet 52% of positive-only LLM evaluations still reported an unmet reliability or performance requirement. From these patterns, we introduce PRISMA-LLM, an empirically grounded framework separating implementation disclosure from consequence-sensitive evaluation and limitation reporting.
• Abstract（参考訳）: 大規模言語モデル(LLM)とAI対応ソフトウェアは、体系的レビュー決定にますます参加するが、これらのワークフローを監査するために必要な情報は、矛盾なく報告される。 SciLitBenchは、14,726のアノテーションを持つレビュー自動化論文のコーパスであり、メソッドの変更、レビューステージの使用、評価、レポート制限を特徴付ける。 自動化は、エビデンスベースを変更するステージを含む、LLMおよびソフトウェア対応ワークフローへと移行した。 2023年以降、ソフトウェア/製品論文の38.0%は、LCM論文の9.3%と比較して評価をしなかった。 LLMワークフローの複雑さにより、レポートのカバレッジが増加したが、肯定的なLCM評価の52%は、まだ信頼性やパフォーマンスの要求を報告していない。 これらのパターンから,結果に敏感な評価と制限レポートから実装開示を分離する実証的な基盤となるフレームワークであるPRISMA-LLMを紹介する。

関連論文リスト

• Beyond Synthetic Benchmarks: Evaluating LLM Performance on Real-World Class-Level Code Generation [3.9189409002585567]
  大規模言語モデル(LLM)は関数レベルのコード生成ベンチマークで強い性能を示している。 本稿では,実環境下での一般化を評価するために,実世界のオープンソースリポジトリから得られたベンチマークを紹介する。 入力仕様の完全性と検索拡張生成が複数の最先端LCMのクラスレベルの正しさにどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2025-10-30T04:30:23Z)
• On The Impact of Merge Request Deviations on Code Review Practices [2.8402080392117757]
  これらのケースを偏差と仮説で表現し、それらがバイアス分析を無視し、レビュー分析のためにMLモデルを弱めていると仮定する。 MRの37.02%で発生する7つの偏差カテゴリを同定し、数ショットの学習検出法(精度91%)を提案する。 我々は,(1)MR偏差の分類学,(2)AIによる検出アプローチ,(3)MLに基づくレビュー分析への影響の実証的証拠を含む。
  論文  参考訳（メタデータ） (2025-06-10T14:51:20Z)
• FACT-AUDIT: An Adaptive Multi-Agent Framework for Dynamic Fact-Checking Evaluation of Large Language Models [79.41859481668618]
  大規模言語モデル(LLM)はファクトチェック研究を大幅に進歩させた。 既存のファクトチェック評価手法は静的データセットと分類基準に依存している。 本稿では, LLMのファクトチェック機能を適応的かつ動的に評価するエージェント駆動型フレームワークであるFACT-AUDITを紹介する。
  論文  参考訳（メタデータ） (2025-02-25T07:44:22Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• AXCEL: Automated eXplainable Consistency Evaluation using LLMs [6.382787013075262]
  大規模言語モデル(LLM)は、産業と学術の両方で様々なタスクに広く使われている。 本研究は,LLM(AXCEL)を用いた自動eXplainable Consistency評価を導入する。 AXCELは、詳細な推論を提供することで、一貫性スコアの説明を提供するプロンプトベースの一貫性メトリクスである。
  論文  参考訳（メタデータ） (2024-09-25T14:45:52Z)
• The emergence of Large Language Models (LLM) as a tool in literature reviews: an LLM automated systematic review [42.112100361891905]
  本研究では,Large Language Models (LLMs) の科学的レビュー作成過程における使用法を要約することを目的とする。 我々は、現場における現在の最先端の研究プロジェクトを自動化し、評価できるレビューのステージの範囲について検討する。
  論文  参考訳（メタデータ） (2024-09-06T20:12:57Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• LLMs Cannot Reliably Identify and Reason About Security Vulnerabilities (Yet?): A Comprehensive Evaluation, Framework, and Benchmarks [17.522223535347905]
  大規模な言語モデル(LLM)は、自動脆弱性修正に使用するために提案されているが、ベンチマークでは、セキュリティ関連のバグが一貫して欠如していることが示されている。 SecLLMHolmesは,LLMがセキュリティ関連のバグを確実に識別し,原因を判断できるかどうか,これまでで最も詳細な調査を行う,完全に自動化された評価フレームワークである。
  論文  参考訳（メタデータ） (2023-12-19T20:19:43Z)
• MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria [49.500322937449326]
  MLLM(Multimodal large language model)は、AIアプリケーションの範囲を広げている。 既存のMLLMの自動評価手法は主にユーザエクスペリエンスを考慮せずにクエリを評価する場合に限られている。 本稿では,MLLM を判断基準として評価する MLLM の新しい評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:04:25Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。