論文の概要: Test Case Generation from Bug Reports via Large Language Models: A Cognitive Layered Evaluation Framework
- arxiv url: http://arxiv.org/abs/2510.05365v1
- Date: Mon, 06 Oct 2025 20:47:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:07.978743
- Title: Test Case Generation from Bug Reports via Large Language Models: A Cognitive Layered Evaluation Framework
- Title（参考訳）: 大規模言語モデルによるバグレポートからのテストケース生成:認知層評価フレームワーク
- Authors: Irtaza Sajid Qureshi, Zhen Ming, Jiang,
- Abstract要約: テストケース生成におけるLarge Language Models(LLM)推論の体系的評価について述べる。
言語的・意味的課題を導入した欠陥4J, GHRB, 変異変種についてStarCoderとGPT-4oを評価した。
- 参考スコア（独自算出の注目度）: 10.919459368597295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly applied to automated software testing, yet their ability to generalize beyond memorized patterns and reason about natural language bug reports remains unclear. We present a systematic evaluation of LLM reasoning in test case generation, structured around the cognitive layers of Bloom's taxonomy: \textit{Remember}, \textit{Understand}, \textit{Apply}, \textit{Analyze}, \textit{Evaluate}, and \textit{Create}, which progressively assess higher levels of cognitive and reasoning capabilities. Building on the LIBRO framework, we evaluate StarCoder and GPT-4o on Defects4J, GHRB, and mutated variants that introduce linguistic and semantic challenges. Our findings show that both models largely reproduce prior results with minor deviations (\textit{Remember}), exhibit partial robustness to linguistic rephrasings and translations while uncovering unique reproducible bugs (\textit{Understand}), but suffer severe performance drops exceeding 60\% under identifier mutations (\textit{Apply}). Conversely, providing near-identical few-shot examples in an open-book setting improves success rates by up to three times, and component-level analysis reveals that structured technical elements, such as test code and method names, are far more impactful than narrative descriptions for successful test generation (\textit{Analyze}). These insights illuminate the cognitive processes underlying LLM-generated tests, suggest concrete directions for improving performance, and establish a robust and realistic evaluation paradigm for this task.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、自動化されたソフトウェアテストにますます適用されていますが、記憶されたパターンを超えて一般化する能力と、自然言語のバグレポートに関する理由はまだ不明です。
本稿では,Bloomの分類の認知層を中心に構築されたテストケース生成におけるLCM推論の体系的評価について述べる: \textit{Remember}, \textit{Understand}, \textit{Apply}, \textit{Analyze}, \textit{Evaluate}, \textit{Create}。
LIBRO フレームワーク上に構築した StarCoder と GPT-4o を,Defects4J, GHRB, および言語的および意味論的課題を導入した変異体上で評価した。
以上の結果から,両モデルとも小偏差(\textit{remember})を伴い,言語表現や翻訳に対して部分的堅牢性を示すとともに,特異な再現性バグ(\textit{Understand})を発見できるが,識別変異(\textit{Apply})では60 %を超える深刻なパフォーマンス低下を経験していることがわかった。
逆に、オープンブック設定でほぼ同一のサンプルを提供することで、成功率が最大3倍向上し、コンポーネントレベルの分析によって、テストコードやメソッド名といった構造化された技術要素が、成功したテスト生成のための物語記述よりもはるかに影響があることが分かる(\textit{Analyze})。
これらの知見は、LCM生成テストの基礎となる認知過程を照らし、パフォーマンスを向上させるための具体的な方向性を提案し、このタスクに対して堅牢で現実的な評価パラダイムを確立する。
関連論文リスト
- Trace Is In Sentences: Unbiased Lightweight ChatGPT-Generated Text Detector [2.11622808613962]
原文とPSPで修正したAI生成テキストの両方を検出する新しいタスクを導入する。
テキストの内部構造に基づいてテキストを分類する軽量なフレームワークを提案する。
本手法は,事前学習した言語モデルからの文の埋め込みを符号化し,その関係を注意してモデル化する。
論文 参考訳（メタデータ） (2025-09-23T02:00:35Z) - Text-ADBench: Text Anomaly Detection Benchmark based on LLMs Embedding [27.02879006439693]
本研究は、総合的な実証的研究を行い、テキスト異常検出のためのベンチマークを導入する。
本研究は,埋め込み型テキスト異常検出の有効性を系統的に評価する。
ベンチマークツールキットをオープンソース化することで、この研究は、堅牢でスケーラブルなテキスト異常検出システムにおける将来の研究の基礎を提供する。
論文 参考訳（メタデータ） (2025-07-16T14:47:41Z) - LINGOLY-TOO: Disentangling Reasoning from Knowledge with Templatised Orthographic Obfuscation [1.2576388595811496]
自然言語を基盤とした挑戦的推論ベンチマークであるlingOLY-TOOを紹介する。
実言語で記述された推論問題をパーミュレートして、多数の質問のバリエーションを生成する。
実験と分析は、モデルが推論を回避し、事前の知識から回答できることを示している。
論文 参考訳（メタデータ） (2025-03-04T19:57:47Z) - Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。
この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-01-28T15:41:54Z) - StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。
評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。
StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
論文 参考訳（メタデータ） (2024-12-23T22:08:40Z) - Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。
これらの課題を克服するために、新しい方法論とデータセットを導入します。
人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。
また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
論文 参考訳（メタデータ） (2024-12-17T08:47:41Z) - Unveiling Large Language Models Generated Texts: A Multi-Level Fine-Grained Detection Framework [9.976099891796784]
大型言語モデル (LLM) は文法の修正、内容の拡張、文体の改良によって人間の書き方を変えてきた。
既存の検出方法は、主に単一機能分析とバイナリ分類に依存しているが、学術的文脈においてLLM生成テキストを効果的に識別することができないことが多い。
低レベル構造, 高レベル意味, 深層言語的特徴を統合することで, LLM生成テキストを検出する多レベルきめ細粒度検出フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-18T07:25:00Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳（メタデータ） (2023-11-14T08:51:00Z) - On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。
我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。
私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
論文 参考訳（メタデータ） (2022-12-20T06:24:25Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳（メタデータ） (2021-03-21T17:20:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。