論文の概要: Investigating Developer-Reported Software Security Testing Challenges
- arxiv url: http://arxiv.org/abs/2609.12008v1
- Date: Thu, 10 Sep 2026 04:41:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.488098
- Title: Investigating Developer-Reported Software Security Testing Challenges
- Title（参考訳）: 開発者報告によるソフトウェアセキュリティテストの課題の調査
- Abstract要約: この研究は、Stack Overflowの議論において、開発者によって報告されたSSTの課題を実証的に特徴づける。
我々は,582のSST関連質問を同定し,分類を8つのカテゴリと31のサブカテゴリに分類した。
その結果、開発者は頻繁にセキュリティ発見の解釈と信頼性、セキュリティテストのガイダンスとツールの選択、認証と承認のテスト、セキュリティツールの統合と自動化について議論している。
- 参考スコア（独自算出の注目度）: 0.2230291569252836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software security testing (SST) is essential for identifying vulnerabilities and improving software security, but developers often face practical challenges when selecting tools, configuring test environments, interpreting scanner outputs, testing authentication workflows, and acting on reported vulnerabilities. This study empirically characterizes developer-reported SST challenges in Stack Overflow (SO) discussions and examines their prevalence, difficulty, temporal evolution, co-occurrence, and taxonomy stability. We analyze 17,743 SO questions collected using SST-related keywords. Through manual labeling, we identify 582 SST-related questions and construct a taxonomy of 8 categories and 31 subcategories. We then analyze these challenges using prevalence, difficulty, correlation, temporal trend, co-occurrence, and held-out stability analyses. The results show that developers frequently discuss security finding interpretation and reliability, security testing guidance and tool selection, authentication and authorization testing, and security tool integration and automation. Validation-related challenges often require more technical context and longer resolution time. Security finding interpretation and remediation-related actionability show increasing trends over time. Co-occurrence analysis shows that false positives frequently appear with explainability, while integration challenges often appear with tool suggestions and documentation/resources. Overall, developer-reported SST challenges extend beyond vulnerability detection and include workflow, configuration, interpretation, and remediation concerns. These findings can help researchers, practitioners, educators, and tool providers improve SST usability, documentation, result interpretation, and remediation support.
- Abstract（参考訳）: ソフトウェアセキュリティテスト(SST)は脆弱性の特定とソフトウェアセキュリティの改善に不可欠だが、開発者はツールの選択、テスト環境の設定、スキャナ出力の解釈、認証ワークフローのテスト、報告された脆弱性への対処において、現実的な課題に直面することが多い。
本研究は,Stack Overflow (SO) 議論における開発者のSST課題を実証的に特徴付け,その頻度,難易度,時間的進化,共起性,分類学的安定性について検討する。
SST関連キーワードを用いて収集した17,743のSO質問を分析した。
手動ラベリングにより, 582 の SST 関連質問を識別し, 8 の分類群と31 の分類群を構築した。
次に、頻度、難易度、相関性、時間的傾向、共起性、保留安定性分析を用いてこれらの課題を分析する。
その結果、開発者は頻繁にセキュリティ発見の解釈と信頼性、セキュリティテストのガイダンスとツールの選択、認証と承認のテスト、セキュリティツールの統合と自動化について議論している。
検証関連の課題は、多くの場合、より技術的なコンテキストとより長い解決時間を必要とする。
セキュリティ発見の解釈と修復関連アクションビリティは、時間とともに傾向が増している。
共起分析では、偽陽性は説明可能性とともに現れることが多いが、統合の課題はツールの提案やドキュメント/リソースと共に現れることが多い。
全体として、開発者によって報告されたSSTの課題は、脆弱性検出を超えて、ワークフロー、設定、解釈、修正に関する懸念を含んでいる。
これらの発見は、研究者、実践者、教育者、ツールプロバイダがSSTのユーザビリティ、ドキュメント、結果解釈、修正サポートを改善するのに役立つ。
関連論文リスト
- Automated Benchmark Auditing for AI Agents and Large Language Models [46.03841647776303]
Auto Benchmark Audit (ABA)は、個々のベンチマークタスクを体系的に監査するエージェントフレームワークである。
私たちは、9つのドメインで合計168のベンチマークで、Frontier LLMベンチマークと以前のNeurIPSパブリッシュのコレクションでABAを実行しています。
ABAは、不明瞭なタスク設計、実行環境の矛盾、そして、評価されたタスクの25.7%以上において、誤った根拠の真実を含む重要な問題を特定する。
論文 参考訳（メタデータ） (2026-05-25T17:44:21Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - TSAQA: Time Series Analysis Question And Answering Benchmark [85.35545785252309]
時系列データは、金融、医療、交通、環境科学といった分野における重要な応用に不可欠である。
TSAQAはタスクカバレッジを拡大し、多様な時間的分析能力を評価するために設計された新しい統合ベンチマークである。
論文 参考訳（メタデータ） (2026-01-30T17:28:56Z) - Explaining Software Vulnerabilities with Large Language Models [35.74179339347328]
SASTツールが検出した脆弱性の原因, 影響, 緩和戦略を説明するため, GPT-4oを利用した統合開発環境(IDE)プラグインであるSAFEを提案する。
専門的なユーザ調査の結果から,SAFEが生成した説明は,セキュリティ脆弱性の理解と対処において,初心者から中間開発者への大きな助けとなることが示唆された。
論文 参考訳（メタデータ） (2025-11-06T08:30:56Z) - Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。
敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。
GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
論文 参考訳（メタデータ） (2025-03-30T13:26:00Z) - Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳（メタデータ） (2025-02-18T17:12:26Z) - LLMs in Software Security: A Survey of Vulnerability Detection Techniques and Insights [12.424610893030353]
大規模言語モデル(LLM)は、ソフトウェア脆弱性検出のためのトランスフォーメーションツールとして登場している。
本稿では,脆弱性検出におけるLSMの詳細な調査を行う。
言語間の脆弱性検出、マルチモーダルデータ統合、リポジトリレベルの分析といった課題に対処する。
論文 参考訳（メタデータ） (2025-02-10T21:33:38Z) - Beyond the Surface: An NLP-based Methodology to Automatically Estimate CVE Relevance for CAPEC Attack Patterns [42.63501759921809]
本稿では,自然言語処理(NLP)を利用して,共通脆弱性・暴露(CAPEC)脆弱性と共通攻撃パターン・分類(CAPEC)攻撃パターンを関連付ける手法を提案する。
実験による評価は,最先端モデルと比較して優れた性能を示した。
論文 参考訳（メタデータ） (2025-01-13T08:39:52Z) - A Comprehensive Study on Static Application Security Testing (SAST) Tools for Android [22.558610938860124]
VulsTotalは、ツールがサポートする脆弱性タイプを定義し記述するための統合評価プラットフォームである。
我々は97のオプションのプールから11のオープンソースSASTツールを選択し、明確に定義された基準に従っています。
次に、Android SASTツールの一般/一般的な脆弱性タイプ67を統一します。
論文 参考訳（メタデータ） (2024-10-28T05:10:22Z) - "False negative -- that one is going to kill you": Understanding Industry Perspectives of Static Analysis based Security Testing [15.403953373155508]
本稿では,SASTを利用する開発者が経験した仮定,期待,信念,課題について質的研究を行う。
私たちは、さまざまなソフトウェア開発の専門知識を持つ20人の実践者と、深く、半構造化されたインタビューを行います。
私たちは、SASTに関連する開発者の認識と欲求に光を当てた17ドルの重要な発見を特定します。
論文 参考訳（メタデータ） (2023-07-30T21:27:41Z) - Safety Analysis in the Era of Large Language Models: A Case Study of
STPA using ChatGPT [11.27440170845105]
人間の介入なしにChatGPTを使用することは、信頼性に関する問題が原因で不十分になるかもしれないが、慎重に設計すれば、人間の専門家より優れる可能性がある。
意味的複雑さの変化や、一般的なプロンプトガイドラインの使用において、統計的に有意な違いは見つからない。
論文 参考訳（メタデータ） (2023-04-03T16:46:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。