論文の概要: Detecting Malicious Source Code in PyPI Packages with LLMs: Does RAG Come in Handy?

• arxiv url: http://arxiv.org/abs/2504.13769v1
• Date: Fri, 18 Apr 2025 16:11:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 15:03:40.380013
• Title: Detecting Malicious Source Code in PyPI Packages with LLMs: Does RAG Come in Handy?
• Title（参考訳）: LLMを用いたPyPIパッケージの悪意のあるソースコード検出:RAGは便利か?
• Authors: Motunrayo Ibiyo, Thinakone Louangdy, Phuong T. Nguyen, Claudio Di Sipio, Davide Di Ruscio,
• Abstract要約: PyPIのようなオープンソースのエコシステムにおける悪意あるソフトウェアパッケージは、セキュリティ上のリスクを増大させる。 本研究では,Large Language Models (LLM) とRetrieval-Augmented Generation (RAG) の有効性を実証的に評価する。
• 参考スコア（独自算出の注目度）: 6.7341750484636975
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Malicious software packages in open-source ecosystems, such as PyPI, pose growing security risks. Unlike traditional vulnerabilities, these packages are intentionally designed to deceive users, making detection challenging due to evolving attack methods and the lack of structured datasets. In this work, we empirically evaluate the effectiveness of Large Language Models (LLMs), Retrieval-Augmented Generation (RAG), and few-shot learning for detecting malicious source code. We fine-tune LLMs on curated datasets and integrate YARA rules, GitHub Security Advisories, and malicious code snippets with the aim of enhancing classification accuracy. We came across a counterintuitive outcome: While RAG is expected to boost up the prediction performance, it fails in the performed evaluation, obtaining a mediocre accuracy. In contrast, few-shot learning is more effective as it significantly improves the detection of malicious code, achieving 97% accuracy and 95% balanced accuracy, outperforming traditional RAG approaches. Thus, future work should expand structured knowledge bases, refine retrieval models, and explore hybrid AI-driven cybersecurity solutions.
• Abstract（参考訳）: PyPIのようなオープンソースのエコシステムにおける悪意あるソフトウェアパッケージは、セキュリティ上のリスクを増大させる。 従来の脆弱性とは異なり、これらのパッケージは意図的にユーザを欺くように設計されており、攻撃方法の進化と構造化データセットの欠如による検出が困難である。 本研究では,Large Language Models (LLM) とRetrieval-Augmented Generation (RAG) の有効性を実証的に評価する。 分類精度の向上を目的として、キュレートされたデータセットにLLMを微調整し、YARAルール、GitHub Security Advisories、悪意のあるコードスニペットを統合する。 RAGは予測性能を向上すると予想されているが、評価では失敗し、中程度の精度が得られる。 対照的に、悪意のあるコードの検出を大幅に改善し、97%の精度と95%のバランスの取れた精度を達成し、従来のRAGアプローチより優れているため、少数ショット学習の方が効果的である。 したがって、今後の作業は構造化知識ベースを拡張し、検索モデルを洗練し、AI駆動のハイブリッドサイバーセキュリティソリューションを探究する必要がある。

関連論文リスト

• TrustRAG: Enhancing Robustness and Trustworthiness in RAG [31.231916859341865]
  TrustRAGは、世代ごとに取得される前に、妥協されたコンテンツと無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、既存のアプローチと比較して、検索精度、効率、攻撃抵抗を大幅に改善している。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)
• Evaluating and Improving the Robustness of Security Attack Detectors Generated by LLMs [6.936401700600395]
  大規模言語モデル(LLM)は、セキュリティ要件を実装するアタック検出器などの関数を生成するために、ソフトウェア開発でますます使われている。 これは、LLMが既存の攻撃に関する知識を欠いていることと、生成されたコードが実際の使用シナリオで評価されていないことによる可能性が高い。 本稿では,LLMパイプラインにRAG(Retrieval Augmented Generation)とSelf-Rankingを統合した新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-27T10:48:37Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Challenging Machine Learning Algorithms in Predicting Vulnerable JavaScript Functions [2.243674903279612]
  最先端の機械学習技術は、JavaScriptプログラムのセキュリティ脆弱性のある関数を予測することができる。 最高性能のアルゴリズムはKNNで、F値0.76の脆弱性関数の予測モデルを作成している。 深層学習,木と林の分類,SVMは0.70以上のF尺度と競合した。
  論文  参考訳（メタデータ） (2024-05-12T08:23:42Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• VulLibGen: Generating Names of Vulnerability-Affected Packages via a Large Language Model [13.96251273677855]
  VulLibGenは、影響を受けるパッケージを直接生成するメソッドである。 脆弱性のあるパッケージを識別するための平均精度は0.806である。 私たちはGitHub Advisoryに60の脆弱性、影響のあるパッケージ>ペアを提出しました。
  論文  参考訳（メタデータ） (2023-08-09T02:02:46Z)
• An Unbiased Transformer Source Code Learning with Semantic Vulnerability Graph [3.3598755777055374]
  現在の脆弱性スクリーニング技術は、新しい脆弱性を特定したり、開発者がコード脆弱性と分類を提供するのに効果がない。 これらの問題に対処するために,変換器 "RoBERTa" とグラフ畳み込みニューラルネットワーク (GCN) を組み合わせたマルチタスク・アンバイアス脆弱性分類器を提案する。 本稿では、逐次フロー、制御フロー、データフローからエッジを統合することで生成されたソースコードからのセマンティック脆弱性グラフ(SVG)表現と、Poacher Flow(PF)と呼ばれる新しいフローを利用したトレーニングプロセスを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:54:14Z)
• PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
  プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。 次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
  論文  参考訳（メタデータ） (2023-03-31T18:03:53Z)
• VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
  本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。 我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
  論文  参考訳（メタデータ） (2021-12-20T22:45:27Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Bayesian Optimization with Machine Learning Algorithms Towards Anomaly Detection [66.05992706105224]
  本稿では,ベイズ最適化手法を用いた効果的な異常検出フレームワークを提案する。 ISCX 2012データセットを用いて検討したアルゴリズムの性能を評価する。 実験結果から, 精度, 精度, 低コストアラームレート, リコールの観点から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-08-05T19:29:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。