論文の概要: A comparative analysis of automated techniques for security bug report identification

• arxiv url: http://arxiv.org/abs/2607.27893v1
• Date: Thu, 30 Jul 2026 09:08:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.4728
• Title: A comparative analysis of automated techniques for security bug report identification
• Title（参考訳）: セキュリティバグレポート識別のための自動手法の比較分析
• Abstract要約: セキュリティ関連のバグレポートのタイムリーな識別は、ソフトウェアシステムの脆弱性のウィンドウを最小限にするために不可欠である。 従来の機械学習技術と大規模言語モデルがこの作業を容易にするために提案されている。 ほとんどの研究では、特定のテクニックを導入または最適化し、限られたベースラインに対して評価する。 これらの結果を比較し、既存のアプローチの有効性について信頼できる結論を導き出すことは困難である。
• 参考スコア（独自算出の注目度）: 0.5076419064097734
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Timely identification of security-related bug reports is essential to minimize the window of vulnerabilities in software systems. Manually screening incoming bug reports to identify security-related issues is time-consuming, error-prone, and non-scalable for large-scale software systems. Thus, a variety of automatic techniques, including traditional machine learning (ML) techniques and large language models, have been proposed to facilitate this task. However, the literature remains fragmented. Most studies introduce or optimize a particular technique and evaluate it against a limited set of baselines, often under different experimental setups. As a result, it is difficult to compare their results and draw reliable conclusions about the effectiveness of existing approaches, leaving researchers and practitioners without clear guidance on which techniques are most suitable for the task. To address this gap, we conducted a comparative analysis of several promising automated techniques to identify security-related bug reports using benchmark datasets. We evaluated Logistic Regression, Support Vector Machines, Random Forest, OpenAI's GPT-5.2, BERT-base, RoBERTa, and SetFit (a state-of-the-art few-shot learning framework). Our results indicate that SetFit achieves the best overall performance, achieving an F1-score of 0.80 and outperforming other techniques on three of the four datasets. RoBERTa performs competitively and approaches SetFit in some projects, while traditional ML techniques, particularly Logistic Regression, remain a strong baseline in certain contexts. In contrast, GPT-5.2 performs poorly in both zero-shot and few-shot settings. In addition, cross-project experiments demonstrate that transfer learning can improve performance for projects with limited data, but may degrade results for projects with strong project-specific characteristics.
• Abstract（参考訳）: セキュリティ関連のバグレポートのタイムリーな識別は、ソフトウェアシステムの脆弱性のウィンドウを最小限にするために不可欠である。 セキュリティ関連の問題を特定するために、手動でバグレポートをスクリーニングすることは、大規模ソフトウェアシステムにとって、時間を要する、エラーを起こしやすい、非スケーリングである。 そこで,従来の機械学習(ML)技術や大規模言語モデルなど,さまざまな自動手法が提案されている。 しかし、文献は断片化されている。 ほとんどの研究は、特定のテクニックを導入または最適化し、しばしば異なる実験的な設定の下で、限られたベースラインに対して評価する。 その結果,既存の手法の有効性を検証し,信頼性の高い結論を導き出すことは困難であり,その課題に最も適している技術は,研究者や実践者による明確なガイダンスを残さないままである。 このギャップに対処するため、ベンチマークデータセットを用いてセキュリティ関連のバグレポートを特定するために、いくつかの有望な自動化手法の比較分析を行った。 我々は,ロジスティック回帰,サポートベクトルマシン,ランダムフォレスト,OpenAIのGPT-5.2,BERTベース,RoBERTa,SetFit(最先端のショットラーニングフレームワーク)を評価した。 その結果、SetFitはF1スコアの0.80を達成し、4つのデータセットのうち3つで他の技術よりも優れています。 RoBERTaは競争力があり、いくつかのプロジェクトでSetFitにアプローチするが、従来のMLテクニック、特にロジスティック回帰は、特定のコンテキストにおいて強力なベースラインを維持している。 対照的に、GPT-5.2はゼロショットと少数ショットの両方で性能が良くない。 さらに、クロスプロジェクト実験では、移行学習は限られたデータを持つプロジェクトのパフォーマンスを向上させることができるが、プロジェクト固有の特徴を持つプロジェクトの結果を劣化させる可能性がある。

関連論文リスト

• Few-shot learning for security bug report identification [0.5076419064097734]
  本稿では,ラベル付き限られたデータを用いて,セキュリティバグレポートを識別するための数ショットの学習手法を提案する。 文変換器とコントラスト学習とパラメータ効率のよい微調整を組み合わせた,最先端の数ショット学習フレームワークであるSetFitを採用している。 提案手法は,評価されたすべてのデータセットに対して,最大0.865のAUCを達成し,従来のML技術(ベースライン)を上回っている。
  論文  参考訳（メタデータ） (2026-01-06T12:29:20Z)
• Machine Learning Pipeline for Software Engineering: A Systematic Literature Review [0.0]
  この系統的な文献レビューは、ソフトウェア工学(SE)用に設計された最先端の機械学習パイプラインを検証している。 この結果から,データバランシングのためのSMOTEなどの堅牢な前処理がモデルの信頼性を向上させることが示唆された。 ランダムフォレストやグラディエントブースティングのようなアンサンブルメソッドはタスク間でパフォーマンスを支配します。 Best Arithmetic Mean (BAM)のような新しいメトリクスはニッチなアプリケーションに現れている。
  論文  参考訳（メタデータ） (2025-07-31T15:37:30Z)
• Synthetic Code Surgery: Repairing Bugs and Vulnerabilities with LLMs and Synthetic Data [0.0]
  本稿では,Large Language Models(LLMs)を用いた合成データ生成によるAPR(Automated Program repair)の向上手法を提案する。 提案手法は, 合成試料生成と厳密な品質評価という2段階のプロセスを通じて, この制限に対処する。 VulRepairテストセットデータセットの実験評価では、完全予測率の統計的に有意な改善が見られた。
  論文  参考訳（メタデータ） (2025-05-12T09:14:20Z)
• Towards Effective Identification of Attack Techniques in Cyber Threat Intelligence Reports using Large Language Models [5.304267859042463]
  本研究は,Web上で利用可能な脅威レポートから攻撃手法を識別するためのサイバー脅威情報(CTI)抽出手法の性能を評価する。 我々は、Threat Report ATT&CK Mapper(TRAM)やLlama2のようなオープンソースのLarge Language Models(LLM)など、最先端ツールを利用する4つの構成を分析した。 以上の結果から, クラス不均衡, オーバーフィッティング, ドメイン固有の複雑性など, 正確なテクニック抽出を阻害する重要な課題が明らかとなった。
  論文  参考訳（メタデータ） (2025-05-06T03:43:12Z)
• Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
  より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。 当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。 当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
  論文  参考訳（メタデータ） (2025-03-31T07:31:32Z)
• TL-Training: A Task-Feature-Based Framework for Training Large Language Models in Tool Use [72.32614703504122]
  大規模言語モデル(LLM)は、環境と対話するツールを活用することで、目覚ましい進歩を遂げる。 大規模なデータセットに依存する標準教師付き微調整アプローチでは、ツール使用時のタスク固有の特性を見落としていることが多い。 本稿では,最適下トレーニングデータの効果を緩和するタスク機能ベースのフレームワークであるTL-Trainingを提案する。
  論文  参考訳（メタデータ） (2024-12-20T02:21:36Z)
• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
  大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。 本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。 1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
  論文  参考訳（メタデータ） (2024-02-19T07:15:59Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)
• Measuring Improvement of F$_1$-Scores in Detection of Self-Admitted Technical Debt [5.750379648650073]
  変換器(BERT)アーキテクチャからの双方向表現を利用した新しいアプローチによりSATDの検出を改善する。 トレーニングされたBERTモデルは、プロジェクト横断シナリオにおいて、20プロジェクト中19プロジェクトにおいて、以前のすべてのメソッドの最高のパフォーマンスよりも改善されていることが分かりました。 今後の研究では、SATDデータセットを多様化して、大きなBERTモデルの潜伏電力を最大化する方法について検討する予定である。
  論文  参考訳（メタデータ） (2023-03-16T19:47:38Z)
• Towards a Fair Comparison and Realistic Design and Evaluation Framework of Android Malware Detectors [63.75363908696257]
  一般的な評価フレームワークを用いて,Androidのマルウェア検出に関する10の研究成果を分析した。 データセットの作成やデザイナの設計に考慮しない場合、トレーニングされたMLモデルに大きく影響する5つの要因を特定します。 その結果,MLに基づく検出器は楽観的に評価され,良好な結果が得られた。
  論文  参考訳（メタデータ） (2022-05-25T08:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。