論文の概要: Comparing Large Language Models on Scrum Certification-Style Questions: Accuracy, Stability, and Error Patterns
- arxiv url: http://arxiv.org/abs/2607.00048v1
- Date: Mon, 29 Jun 2026 23:37:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.594153
- Title: Comparing Large Language Models on Scrum Certification-Style Questions: Accuracy, Stability, and Error Patterns
- Title（参考訳）: スクラム認定に関する大規模言語モデルの比較 - 正確性、安定性、エラーパターン
- Abstract要約: 大規模言語モデル(LLM)は、試験や認定スタイルの質問応答タスクでますます使われている。
本稿では,993のスクラム認定スタイルの質問に対して,現代LLMであるtextitGPT-5 mini, textitGemini 3 Flash, textitDeepSeek Chat 3.2の性能評価を行った。
- 参考スコア（独自算出の注目度）: 0.19674381684480705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are increasingly used in exam- and certification-style question answering tasks, where their ability to retrieve, interpret, and apply domain-specific knowledge can be systematically assessed. In Software Engineering, such settings are particularly relevant when questions depend on strict adherence to normative definitions, roles, artifacts, and rules. This paper evaluates the performance of three contemporary LLMs, \textit{GPT-5 mini}, \textit{Gemini 3 Flash}, and \textit{DeepSeek Chat 3.2}, in answering 993 Scrum certification-style questions aligned with the Professional Scrum Master I (PSM I) assessment format. We evaluated the models under three prompting strategies (\textit{zero-shot}, \textit{chain-of-thought}, and \textit{source-grounded}), with repeated executions to assess intra-model stability. We also analyzed performance across Scrum topics and question formats, complemented by a qualitative analysis of recurring error patterns in incorrect answers. Results revealed clear differences among models, with Gemini 3 Flash achieving the highest accuracy, followed by GPT-5 mini and DeepSeek Chat 3.2, while intra-model variability remained low across all conditions. By question format, the models achieved the highest accuracy on single-answer multiple-choice items, whereas multi-select and True/False questions were more error-prone. By topic, performance was more consistent in normatively explicit areas such as Artifacts, Empiricism, and Product Value, but more fragile in Scrum Values, Self-Managing Teams, and Stakeholders \& Customers. The qualitative analysis showed that errors were systematic rather than random, involving overgeneralization, restrictive wording, compound distractors, and conflicts between common market interpretations and strict Scrum definitions.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、試験や認定スタイルの質問応答タスクにおいて、ドメイン固有の知識を検索、解釈、適用する能力が体系的に評価されるようになってきている。
ソフトウェア工学において、このような設定は、質問が規範的定義、役割、アーティファクト、ルールへの厳密な固執に依存する場合、特に関係がある。
本稿では,プロのスクラムマスタI(PSM I)アセスメントフォーマットに適合する993のスクラム認定スタイルの質問に対して,現代の3つのLCM, \textit{GPT-5 mini}, \textit{Gemini 3 Flash}, \textit{DeepSeek Chat 3.2}のパフォーマンスを評価する。
実験では,3つのプロンプト戦略 (\textit{zero-shot}, \textit{chain-of- Thought}, \textit{source-grounded}) に基づき, モデル内安定性の評価を繰り返した。
また、スクラムのトピックや質問フォーマットのパフォーマンスを分析しました。
Gemini 3 FlashはGPT-5 miniとDeepSeek Chat 3.2が続く一方、モデル内変動は全ての条件で低かった。
問合せ形式では, 単問問合せ項目の精度が最も高かったが, 複数選択問合せとTrue/False問合せの方が誤りが多かった。
トピックによって、成果はアーティファクト、経験主義、プロダクトバリューといった規範的に明示的な領域でより一貫性があったが、スクラムバリュー、セルフマネジメントチーム、ステークホルダー \&顧客の間ではより脆弱だった。
質的な分析によると、エラーはランダムではなく体系的なもので、過剰な一般化、限定的な言葉、複合的な気晴らし、一般的な市場解釈と厳密なスクラム定義の対立を含んでいる。
関連論文リスト
- A Systematic Evaluation of Cross-Lingual Consistency Enhancement Methods in Multilingual Language Models [50.27606276000142]
本稿では,質問応答,推論時間介入,学習後アプローチにおける代表的CLC強調手法の統一評価について述べる。
その結果, 後学習法は一般に信頼性が高く, 直接分布アライメントはモデル・データセットの組み合わせ間で連続的にCLCを改善していることがわかった。
CLCの強化がモデルに異なる応答能力を与えるかどうかを考察する。
論文 参考訳（メタデータ） (2026-09-03T19:18:44Z) - Prompting GPT-5 on Scrum Certification Questions: An Empirical Accuracy Study [0.6531122829756467]
大規模言語モデル(LLM)は、ドキュメント、コーチング、トレーニングのためにアジャイルソフトウェア開発でますます使われています。
本稿では,異なるプロンプト手法がスクラム認定スタイルの質問に対するLCM応答の事実的正確性にどのように影響するかを検討する。
論文 参考訳（メタデータ） (2026-06-29T23:55:14Z) - DepthCharge: A Domain-Agnostic Framework for Measuring Depth-Dependent Knowledge in Large Language Models [51.56484100374058]
大きな言語モデルは一般的な質問に答えるときに有能に見えるが、ドメイン固有の詳細にプッシュされると失敗することが多い。
3つのイノベーションを通じて知識の深さを測定するドメインに依存しないフレームワークであるDepthChargeを紹介します。
モデルが実際に言及している概念に基づいてフォローアップ質問を生成する適応的探索、権威のある情報源からのオンデマンドの事実検証、あらゆる深さのサンプルサイズが一定である生存統計。
論文 参考訳（メタデータ） (2026-03-05T20:49:11Z) - Automated Benchmark Generation from Domain Guidelines Informed by Bloom's Taxonomy [28.293009223912602]
オープンエンド質問応答(英語: Open-ended Question answering, QA)は、モデルが事実的リコールを超えた文脈的推論を行う能力を評価する。
この課題は、知識が手続き的であり、専門的な判断が下されている、実践ベースの領域で特に深刻である。
ブルームの分類学から得られた専門家認可ガイドラインから自動ベンチマーク生成のためのフレームワークを紹介する。
論文 参考訳（メタデータ） (2026-01-28T05:01:11Z) - Chain-of-thought Reviewing and Correction for Time Series Question Answering [22.889720488678076]
本稿では,時系列質問応答の明示的な補正機構を備えた多段階推論を行うT3LLMを提案する。
このフレームワーク内では、作業者は構造化されたプロンプトの下で段階的思考連鎖(CoT)を生成し、レビュアーは推論を検査し、誤ったステップを特定し、修正的なコメントを提供する。
複数の実世界のTSQAベンチマークの実験により、T3LLMは強力なLLMベースのベースラインに対して最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2025-12-27T15:54:18Z) - PRISMM-Bench: A Benchmark of Peer-Review Grounded Multimodal Inconsistencies [16.537126902822127]
PRISMM-Benchは、科学論文において、実際のレビュアーがフラッグした不整合に基づいた最初のベンチマークである。
不整合同定、治療、ペアマッチングという3つのタスクを設計し、不整合の検出、修正、推論を行うモデルの能力を評価する。
我々は、大きなオープンウェイトモデル(GLM-4.5V 106B、InternVL3 78B)やプロプライエタリモデル(Gemini 2.5 Pro、GPT-5)を含む21のLMMをベンチマークした。
論文 参考訳（メタデータ） (2025-10-18T13:46:26Z) - Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。
我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
論文 参考訳（メタデータ） (2025-09-03T15:48:33Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - A Controllable Examination for Long-Context Language Models [62.845852724511964]
本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。
その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。
我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
論文 参考訳（メタデータ） (2025-06-03T14:23:06Z) - ProcessBench: Identifying Process Errors in Mathematical Reasoning [62.80402845414901]
本稿では,数学的推論における誤ったステップを識別する能力を測定するためのProcessBenchを紹介する。
ProcessBenchは3400のテストケースで構成され、主に競合とオリンピアードレベルの数学問題に焦点を当てている。
我々はProcessBenchについて、プロセス報酬モデル(PRM)と批判モデルという2種類のモデルを含む広範囲な評価を行う。
論文 参考訳（メタデータ） (2024-12-09T15:11:40Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳（メタデータ） (2023-10-09T07:27:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。