論文の概要: Cross-Domain Evaluation of Transformer-Based Vulnerability Detection on Open & Industry Data
- arxiv url: http://arxiv.org/abs/2509.09313v1
- Date: Thu, 11 Sep 2025 09:58:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-12 16:52:24.329664
- Title: Cross-Domain Evaluation of Transformer-Based Vulnerability Detection on Open & Industry Data
- Title（参考訳）: オープン・アンド・インダストリアルデータを用いた変圧器による脆弱性検出のクロスドメイン評価
- Authors: Moritz Mock, Thomas Forrer, Barbara Russo,
- Abstract要約: このような技術を学術から産業に移管することは、信頼性、レガシーシステム、デジタルリテラシーの制限、学術と工業の専門知識のギャップに関連する課題を提示する。
まず,産業用およびオープンソースソフトウェアにおける脆弱性検出のためのCodeBERTの性能評価を行った。
我々は,CI/CD(Continuous Integration-Continuous Deployment)統合レコメンデータシステムであるAI-DO(Integration for Developers' Operations)を開発した。
- 参考スコア（独自算出の注目度）: 0.42752082548275155
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning solutions for vulnerability detection proposed in academic research are not always accessible to developers, and their applicability in industrial settings is rarely addressed. Transferring such technologies from academia to industry presents challenges related to trustworthiness, legacy systems, limited digital literacy, and the gap between academic and industrial expertise. For deep learning in particular, performance and integration into existing workflows are additional concerns. In this work, we first evaluate the performance of CodeBERT for detecting vulnerable functions in industrial and open-source software. We analyse its cross-domain generalisation when fine-tuned on open-source data and tested on industrial data, and vice versa, also exploring strategies for handling class imbalance. Based on these results, we develop AI-DO(Automating vulnerability detection Integration for Developers' Operations), a Continuous Integration-Continuous Deployment (CI/CD)-integrated recommender system that uses fine-tuned CodeBERT to detect and localise vulnerabilities during code review without disrupting workflows. Finally, we assess the tool's perceived usefulness through a survey with the company's IT professionals. Our results show that models trained on industrial data detect vulnerabilities accurately within the same domain but lose performance on open-source code, while a deep learner fine-tuned on open data, with appropriate undersampling techniques, improves the detection of vulnerabilities.
- Abstract（参考訳）: 学術研究で提案された脆弱性検出のためのディープラーニングソリューションは、必ずしも開発者にはアクセスできない。
このような技術を学術から産業に移管することは、信頼性、レガシーシステム、デジタルリテラシーの制限、学術と工業の専門知識のギャップに関連する課題を提示する。
特にディープラーニングでは、既存のワークフローへのパフォーマンスと統合がさらに懸念される。
本研究では,産業用およびオープンソースソフトウェアにおける脆弱性検出のためのCodeBERTの性能評価を行った。
我々は、オープンソースデータに精通し、産業データに精通した際のドメイン間の一般化を分析し、また、クラス不均衡を扱うための戦略についても検討する。
これらの結果に基づいて,ワークフローを中断することなくコードレビュー中に脆弱性を検出し,ローカライズする,CI/CD統合レコメンデータシステムであるAI-DO(Automating vulnerable detection for Developers' Operations)を開発した。
最後に,企業のIT専門家を対象とした調査を通じて,ツールの有用性を評価する。
この結果から,産業データに基づいてトレーニングされたモデルは,同一領域内での脆弱性を正確に検出するが,オープンソースのコードでは性能が低下することがわかった。
関連論文リスト
- Does Machine Unlearning Truly Remove Model Knowledge? A Framework for Auditing Unlearning in LLMs [58.24692529185971]
本研究では,3つのベンチマークデータセット,6つのアンラーニングアルゴリズム,および5つのプロンプトベースの監査手法からなる,アンラーニング評価のための総合的な監査フレームワークを提案する。
異なるアンラーニング戦略の有効性とロバスト性を評価する。
論文 参考訳（メタデータ） (2025-05-29T09:19:07Z) - AssistedDS: Benchmarking How External Domain Knowledge Assists LLMs in Automated Data Science [44.18533574465929]
AssistedDSは、大規模言語モデルがドメイン知識をどのように扱うかを評価するために設計されたベンチマークである。
我々は、最先端のLLMを、有害なドメイン知識を識別し、有効に適用する能力に基づいて評価する。
我々の結果は、専門家の知識を批判的に評価し活用する現在のモデルの能力に、かなりのギャップがあることを示します。
論文 参考訳（メタデータ） (2025-05-25T05:50:21Z) - Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。
我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
論文 参考訳（メタデータ） (2024-08-29T10:00:57Z) - Systematic review and characterisation of malicious industrial network traffic datasets [0.0]
本稿では,公開可能なネットワークトラフィックキャプチャに基づくデータセットを体系的にレビューする。
これには、含まれた攻撃タイプの分類、メタデータのレビュー、統計分析、複雑さ分析が含まれる。
研究者にメタデータを提供し、研究の質問に最適なデータセットを選択するのに使用できる。
論文 参考訳（メタデータ） (2024-05-08T07:48:40Z) - Bridging the Gap: A Study of AI-based Vulnerability Management between Industry and Academia [4.4037442949276455]
人工知能(AI)の最近の研究進歩は、自動化されたソフトウェア脆弱性管理に有望な結果をもたらした。
業界は、AIベースのテクニックをセキュリティ脆弱性管理ワークフローに統合することに関して、非常に慎重で選択的だ。
我々は、産業の期待をよりよく理解し、AIベースのセキュリティ脆弱性研究の実践的ユーザビリティを改善し、産業とアカデミックの相乗効果を推し進めるための将来の方向性を提案する。
論文 参考訳（メタデータ） (2024-05-03T19:00:50Z) - Causative Insights into Open Source Software Security using Large
Language Code Embeddings and Semantic Vulnerability Graph [3.623199159688412]
オープンソースソフトウェア(OSS)の脆弱性は、不正アクセス、データ漏洩、ネットワーク障害、プライバシー侵害を引き起こす可能性がある。
最近のディープラーニング技術は、ソースコードの脆弱性を特定し、ローカライズする上で大きな可能性を示しています。
本研究は,従来の方法に比べてコード修復能力が24%向上したことを示す。
論文 参考訳（メタデータ） (2024-01-13T10:33:22Z) - Integration of Domain Expert-Centric Ontology Design into the CRISP-DM for Cyber-Physical Production Systems [45.05372822216111]
機械学習(ML)とデータマイニング(DM)の手法は、収集されたデータから複雑で隠れたパターンを抽出する上で有望であることが証明されている。
しかし、このようなデータ駆動プロジェクトは、通常、CRISPDM(Cross-Industry Standard Process for Data Mining)で実行され、データの理解と準備に要する時間の不均等さのために失敗することが多い。
このコントリビューションは、データサイエンティストがCPPSの課題に対してより迅速かつ確実に洞察を得ることができるように、統合されたアプローチを提供することを目的としている。
論文 参考訳（メタデータ） (2023-07-21T15:04:00Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳（メタデータ） (2021-12-20T22:45:27Z) - Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。
ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
論文 参考訳（メタデータ） (2021-03-08T10:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。