論文の概要: Assumptions to Evidence: Evaluating Security Practices Adoption and Their Impact on Outcomes in the npm Ecosystem
- arxiv url: http://arxiv.org/abs/2504.14026v2
- Date: Sat, 02 Aug 2025 02:00:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 20:32:48.599181
- Title: Assumptions to Evidence: Evaluating Security Practices Adoption and Their Impact on Outcomes in the npm Ecosystem
- Title(参考訳): 証拠の前提:npmエコシステムにおけるセキュリティプラクティスの導入と成果への影響を評価する
- Authors: Nusrat Zahan, Imranur Rahman, Laurie Williams,
- Abstract要約: 本研究の目的は、実践者や政策立案者がどのセキュリティプラクティスを採用するべきかを判断するのを支援することである。
セキュリティプラクティスの採用状況と,145K npmパッケージのセキュリティ結果指標への影響を分析した。
以上の結果から,総合的なセキュリティプラクティスの採用には5.2の脆弱性,216.8日のMTTR,52.3日のMTTUが関与していることがわかった。
- 参考スコア(独自算出の注目度): 5.250288418639076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Practitioners often struggle with the overwhelming number of security practices outlined in cybersecurity frameworks for risk mitigation. Given the limited budget, time, and resources, practitioners want to prioritize the adoption of security practices based on empirical evidence. The goal of this study is to assist practitioners and policymakers in making informed decisions on which security practices to adopt by evaluating the relationship between software security practices adoption and security outcome metrics. To do this, we analyzed the adoption of security practices and their impact on security outcome metrics across 145K npm packages. We selected the OpenSSF Scorecard metrics to automatically measure the adoption of security practices in npm GitHub repositories. We also investigated project-level security outcome metrics: the number of open vulnerabilities (Vul_Count)), mean time to remediate (MTTR) vulnerabilities in dependencies, and mean time to update (MTTU) dependencies. We conducted regression and causal analysis using 11 Scorecard metrics and the aggregated Scorecard score (computed by aggregating individual security practice scores) as predictors and Vul_Count), MTTR, and MTTU as target variables. Our findings reveal that aggregated adoption of security practices is associated with 5.2 fewer vulnerabilities, 216.8 days faster MTTR, and 52.3 days faster MTTU. Repository characteristics have an impact on security practice effectiveness: repositories with high security practice adoptions, especially those that are mature, actively maintained, large in size, have many contributors, few dependencies, and high download volumes, tend to exhibit better outcomes compared to smaller or inactive repositories.
- Abstract(参考訳): 実践者は、リスク軽減のためのサイバーセキュリティフレームワークで概説される圧倒的な数のセキュリティプラクティスに苦慮することが多い。
予算、時間、リソースが限られているため、実践者は経験的な証拠に基づいてセキュリティプラクティスの採用を優先したい。
本研究の目的は,ソフトウェアセキュリティプラクティスの導入状況とセキュリティ結果の指標との関係を評価することによって,セキュリティプラクティスが採用すべき課題について,専門家と政策立案者が情報的な決定を行うのを支援することである。
これを実現するために,セキュリティプラクティスの採用状況と,145K npmパッケージのセキュリティ結果指標への影響を分析した。
npm GitHubリポジトリにおけるセキュリティプラクティスの採用を自動的に測定するために、OpenSSF Scorecardメトリクスを選択しました。
オープン脆弱性の数(Vul_Count)、依存関係の脆弱性の更新時間(MTTR)、依存関係の更新時間(MTTU)などです。
我々は,11のScorecardメトリクスと集計されたScorecardスコア(個々のセキュリティ実践スコアを集計して算出)を予測値として,MTTR,MTTUを目標変数として,回帰分析および因果解析を行った。
以上の結果から,総合的なセキュリティプラクティスの採用には5.2の脆弱性,216.8日のMTTR,52.3日のMTTUが関与していることがわかった。
高いセキュリティプラクティスを採用するリポジトリ、特に成熟し、アクティブにメンテナンスされ、大きく、多くのコントリビュータを持ち、依存関係が少なく、ダウンロード量が多いリポジトリは、小規模または非アクティブなリポジトリよりも優れた結果を示す傾向があります。
関連論文リスト
- Security Debt in Practice: Nuanced Insights from Practitioners [0.3277163122167433]
期限の短縮、リソースの制限、セキュリティよりも機能の優先順位付けは、コーディングプラクティスの安全性を損なう可能性がある。
その重要な重要性にもかかわらず、ソフトウェア実践者がセキュリティ負債をどう認識し、管理し、伝達するかについての実証的な証拠は限られている。
この研究は、様々な役割、組織、国にわたる22人のソフトウェア実践者との半構造化されたインタビューに基づいている。
論文 参考訳(メタデータ) (2025-07-15T14:28:28Z) - When Developer Aid Becomes Security Debt: A Systematic Analysis of Insecure Behaviors in LLM Coding Agents [1.0923877073891446]
LLMベースのコーディングエージェントは急速にソフトウェア開発にデプロイされているが、そのセキュリティへの影響はよく分かっていない。
我々は,5つの最先端モデルにわたる12,000以上のアクションを解析し,自律型符号化エージェントのシステムセキュリティ評価を行った。
論文 参考訳(メタデータ) (2025-07-12T16:11:07Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳(メタデータ) (2025-07-08T16:18:54Z) - Advancing Embodied Agent Security: From Safety Benchmarks to Input Moderation [52.83870601473094]
エンボディード・エージェントは、複数のドメインにまたがって大きな潜在能力を示す。
既存の研究は主に、一般的な大言語モデルのセキュリティに重点を置いている。
本稿では, エンボディエージェントの保護を目的とした新しい入力モデレーションフレームワークを提案する。
論文 参考訳(メタデータ) (2025-04-22T08:34:35Z) - SafeMLRM: Demystifying Safety in Multi-modal Large Reasoning Models [50.34706204154244]
推論能力の獲得は、引き継がれた安全アライメントを壊滅的に劣化させる。
特定のシナリオは、25倍の攻撃率を被る。
MLRMは、厳密な推論と問合せの安全結合にもかかわらず、初期段階の自己補正を示す。
論文 参考訳(メタデータ) (2025-04-09T06:53:23Z) - How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。
DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
論文 参考訳(メタデータ) (2025-03-20T19:52:30Z) - Safe Vision-Language Models via Unsafe Weights Manipulation [75.04426753720551]
我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。
我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。
UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
論文 参考訳(メタデータ) (2025-03-14T17:00:22Z) - CASTLE: Benchmarking Dataset for Static Code Analyzers and LLMs towards CWE Detection [2.5228276786940182]
本稿では,異なる手法の脆弱性検出能力を評価するためのベンチマークフレームワークであるCASTLEを紹介する。
我々は,25個のCWEをカバーする250個のマイクロベンチマークプログラムを手作りしたデータセットを用いて,静的解析ツール13,LLM10,形式検証ツール2を評価した。
論文 参考訳(メタデータ) (2025-03-12T14:30:05Z) - Beyond the Surface: An NLP-based Methodology to Automatically Estimate CVE Relevance for CAPEC Attack Patterns [42.63501759921809]
本稿では,自然言語処理(NLP)を利用して,共通脆弱性・暴露(CAPEC)脆弱性と共通攻撃パターン・分類(CAPEC)攻撃パターンを関連付ける手法を提案する。
実験による評価は,最先端モデルと比較して優れた性能を示した。
論文 参考訳(メタデータ) (2025-01-13T08:39:52Z) - Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
我々は,大規模言語モデル(LLM)の安全性を評価するベンチマークであるAgent-SafetyBenchを紹介する。
Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。
16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
論文 参考訳(メタデータ) (2024-12-19T02:35:15Z) - The Impact of SBOM Generators on Vulnerability Assessment in Python: A Comparison and a Novel Approach [56.4040698609393]
Software Bill of Materials (SBOM) は、ソフトウェア構成における透明性と妥当性を高めるツールとして推奨されている。
現在のSBOM生成ツールは、コンポーネントや依存関係を識別する際の不正確さに悩まされることが多い。
提案するPIP-sbomは,その欠点に対処する新しいピップインスパイアされたソリューションである。
論文 参考訳(メタデータ) (2024-09-10T10:12:37Z) - Trust, but Verify: Evaluating Developer Behavior in Mitigating Security Vulnerabilities in Open-Source Software Projects [0.11999555634662631]
本研究では,オープンソースソフトウェア(OSS)プロジェクトの依存関係の脆弱性について検討する。
古い依存関係やメンテナンスされていない依存関係に共通する問題を特定しました。
その結果, 直接的な依存関係の削減と, 強力なセキュリティ記録を持つ高度に確立されたライブラリの優先順位付けが, ソフトウェアセキュリティの状況を改善する効果的な戦略であることが示唆された。
論文 参考訳(メタデータ) (2024-08-26T13:46:48Z) - The Art of Defending: A Systematic Evaluation and Analysis of LLM
Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。
本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
論文 参考訳(メタデータ) (2023-12-30T17:37:06Z) - Safety Margins for Reinforcement Learning [53.10194953873209]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳(メタデータ) (2023-07-25T16:49:54Z) - Online Safety Property Collection and Refinement for Safe Deep
Reinforcement Learning in Mapless Navigation [79.89605349842569]
オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。
CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。
本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
論文 参考訳(メタデータ) (2023-02-13T21:19:36Z) - Semantic Similarity-Based Clustering of Findings From Security Testing
Tools [1.6058099298620423]
特に、複数の観点からソフトウェアアーチファクトを検査した後、レポートを生成する自動セキュリティテストツールを使用するのが一般的である。
これらの重複した発見を手動で識別するには、セキュリティ専門家は時間、努力、知識といったリソースを投資する必要がある。
本研究では,意味論的に類似したセキュリティ発見のクラスタリングに自然言語処理を適用する可能性について検討した。
論文 参考訳(メタデータ) (2022-11-20T19:03:19Z) - Do Software Security Practices Yield Fewer Vulnerabilities? [6.6840472845873276]
本研究の目的は、専門家や研究者がどのセキュリティプラクティスを採用するべきかを判断するのを支援することである。
4つのセキュリティプラクティスが、脆弱性数に影響を与える最も重要なプラクティスでした。
パッケージの総セキュリティスコアが増加するにつれて、報告された脆弱性の数は減少した。
論文 参考訳(メタデータ) (2022-10-20T20:04:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。