論文の概要: Preliminary Guidelines for Using and Evaluating GenAI Tools to Support Systematic Literature Reviews

• arxiv url: http://arxiv.org/abs/2607.24991v1
• Date: Mon, 27 Jul 2026 18:43:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.596958
• Title: Preliminary Guidelines for Using and Evaluating GenAI Tools to Support Systematic Literature Reviews
• Title（参考訳）: システム文献レビュー支援のためのGenAIツールの使用と評価に関するガイドライン
• Abstract要約: ジェネレーティブAI(GenAI)とLarge Language Models(LLM)は、ソフトウェア工学の学術的なタスクにますます使われています。 しかし、テキストを要約する能力はあるものの、体系的な文献レビューが必要とする厳密さ、信頼性、透明性を満たすことは保証されていない。 我々は、GenAIとGenAIツールの評価を用いて、両方のSLRを計画、実行、報告する際に考慮すべきプロセス問題を特定し、説明する。
• 参考スコア（独自算出の注目度）: 6.141989363486377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context: Generative AI (GenAI) and Large Language Models (LLMs) are increasingly used for academic tasks in software engineering and beyond, including systematic literature reviews (SLRs). However, while capable of summarizing text, there is no guarantee they can meet the rigour, reliability, and transparency that SLRs require. Objectives: To support researchers intending to conduct SLRs using GenAI or those conducting empirical studies evaluating how well GenAI supports SLR tasks. Methods: First, we conducted a rapid review to identify studies that propose guidelines for evaluating and using GenAI and LLMs to support SLRs. Second, we drew on thought experiments, relevant guidance from the literature, and our own experience conducting SLRs and evaluating tools to develop recommendations for how to use and assess GenAI in the context of SLRs. Results: We discuss the problems researchers face when evaluating GenAI for SLRs. We identify and explain process issues to consider when planning, conducting, and reporting both SLRs using GenAI and evaluations of GenAI tools. Finally, we summarize our results as a set of process recommendations, which we name GUEST (GenAI Use and Evaluation in SLR Tasks). Conclusion: We argue that GenAI requires human oversight and is not currently capable of unsupervised systematic studies. However, it offers the prospect of cost-effective assistance for some repetitive tasks and for additional validation of some complex tasks. Our GUEST recommendations should help software engineering researchers both to conduct and report trustworthy SLRs using GenAI and to provide rigorous independent evaluation studies.
• Abstract（参考訳）: コンテキスト: ジェネレーティブAI(GenAI)とLarge Language Models(LLM)は、ソフトウェアエンジニアリングなどの学術的なタスクに、体系的な文献レビュー(SLR)など、ますます使われています。 しかし、テキストを要約する能力はあるものの、SLRが必要とする厳密さ、信頼性、透明性を満たすことは保証されていない。 目的:GenAIを用いてSLRを行う研究者や、GenAIがSLRタスクをどのようにサポートしているかを評価する実証的研究を行う研究者を支援する。 方法: まず,GenAI と LLM を用いた SLR の評価・利用に関するガイドラインを提案する研究を迅速に検討した。 第2に、思考実験、文献からの関連ガイダンス、SLRの実施経験、およびSLRの文脈におけるGenAIの使用・評価の推奨方法を開発するためのツールの評価を行った。 結果:SLRにおけるGenAIの評価において研究者が直面する問題点について考察した。 我々は、GenAIとGenAIツールの評価を用いて、両方のSLRを計画、実行、報告する際に考慮すべきプロセス問題を特定し、説明する。 GUEST(GenAI Use and Evaluation in SLR Tasks)と名づけた一連のプロセスレコメンデーションとして結果を要約する。 結論: GenAIは人間の監視を必要としており、現在、教師なしの体系的な研究はできないと我々は主張する。 しかし、これはいくつかの繰り返しタスクに対するコスト効率の補助と、いくつかの複雑なタスクのさらなる検証を提供する。 我々のGUESTレコメンデーションは、ソフトウェア工学研究者がGenAIを使用して信頼できるSLRを実行および報告し、厳密な独立した評価研究を提供するのに役立つだろう。

関連論文リスト

• Generative Artificial Intelligence for Literature Reviews [0.0]
  ジェネレーティブ・人工知能(GenAI)は、組織、アカデミア、一般大衆を嵐によって奪った。 特に、大きなテキストコーパスの要約、質問回答、データ抽出、翻訳といった印象的なGenAI機能は、文学レビューの実施に深く影響している。 本稿では,汎用的・専門的なGenAIツールを用いて文献レビューを行うためのアプローチについて概説する。
  論文  参考訳（メタデータ） (2026-05-15T15:42:54Z)
• Bridging Qualitative Rubrics and AI: A Binary Question Framework for Criterion-Referenced Grading in Engineering [5.378302855328016]
  本研究では, 工学における数学的評価において, GenAI を基準付きグレーティングフレームワークに統合して, グレーディングの効率と品質を向上させる方法について検討した。
  論文  参考訳（メタデータ） (2026-01-22T03:57:47Z)
• Let the Barbarians In: How AI Can Accelerate Systems Performance Research [80.43506848683633]
  我々は、この繰り返しサイクルを、AI駆動システム研究の生成、評価、洗練のサイクルと呼ぶ。 我々はADRSが生成するソリューションが人間の最先端の設計に適合し、さらに優れることを示した。
  論文  参考訳（メタデータ） (2025-12-16T18:51:23Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research [70.72318131988102]
  MLR-Benchは、オープンエンド機械学習研究においてAIエージェントを評価するための包括的なベンチマークである。 MLR-Benchは,(1)NeurIPS, ICLR, ICMLのさまざまなMLトピックを対象としたワークショップから得られた201のリサーチタスク,(2)LLMベースのレビュアーと慎重に設計されたレビュールーリックを組み合わせた自動評価フレームワーク,(3)MLR-Agent,研究タスクを4段階(アイデア生成,提案定式化,実験,論文執筆)で完了するモジュールエージェントの足場である。
  論文  参考訳（メタデータ） (2025-05-26T13:18:37Z)
• ELEVATE-GenAI: Reporting Guidelines for the Use of Large Language Models in Health Economics and Outcomes Research: an ISPOR Working Group on Generative AI Report [12.204470166456561]
  この記事ではELEVATE GenAIフレームワークとチェックリストを紹介します。 このフレームワークは,既存の報告ガイドラインを対象とする文献レビューを通じて開発された。 モデルの特徴、正確性、公平性、偏見を含む10のドメインから構成される。
  論文  参考訳（メタデータ） (2024-12-23T14:09:10Z)
• From Automation to Cognition: Redefining the Roles of Educators and Generative AI in Computing Education [2.0628700367476203]
  Generative Artificial Intelligence(GenAI)は、コンピュータ教育(CE)における教育と学習に革命をもたらす機会を提供する しかし、教育者は、学生がGenAIを過度に信頼し、これらのツールを使って学習プロセスに携わることなくソリューションを生成するのではないかという懸念を表明している。 本稿では、CSに着目した教育環境におけるGenAIの使用経験と、それに従って実施した変化について述べる。
  論文  参考訳（メタデータ） (2024-12-16T03:36:25Z)
• A Systematic Review of Generative AI for Teaching and Learning Practice [0.37282630026096586]
  高等教育におけるGenAIシステムの利用に関するガイドラインは合意されていない。 HEにおける学際的・多次元的な研究は、共同研究を通じて必要である。
  論文  参考訳（メタデータ） (2024-06-13T18:16:27Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI [65.44737844681256]
  説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。 このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
  論文  参考訳（メタデータ） (2022-06-22T05:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。