論文の概要: Are Sparse Autoencoders Useful for Java Function Bug Detection?

• arxiv url: http://arxiv.org/abs/2505.10375v2
• Date: Wed, 21 May 2025 20:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 12:25:14.976368
• Title: Are Sparse Autoencoders Useful for Java Function Bug Detection?
• Title（参考訳）: スパースオートエンコーダはJava関数バグ検出に有用か?
• Authors: Rui Melo, Claudia Mamede, Andre Catarino, Rui Abreu, Henrique Lopes Cardoso,
• Abstract要約: ソフトウェア脆弱性はセキュリティ侵害の主な原因である。 従来の脆弱性検出方法は、高い偽陽性率、スケーラビリティの問題、手作業への依存によって制限されている。 Sparse Autoencoderはこの問題に対して有望な解決策を提供する。
• 参考スコア（独自算出の注目度）: 5.119371135458389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software vulnerabilities such as buffer overflows and SQL injections are a major source of security breaches. Traditional methods for vulnerability detection remain essential but are limited by high false positive rates, scalability issues, and reliance on manual effort. These constraints have driven interest in AI-based approaches to automated vulnerability detection and secure code generation. While Large Language Models (LLMs) have opened new avenues for classification tasks, their complexity and opacity pose challenges for interpretability and deployment. Sparse Autoencoder offer a promising solution to this problem. We explore whether SAEs can serve as a lightweight, interpretable alternative for bug detection in Java functions. We evaluate the effectiveness of SAEs when applied to representations from GPT-2 Small and Gemma 2B, examining their capacity to highlight buggy behaviour without fine-tuning the underlying LLMs. We found that SAE-derived features enable bug detection with an F1 score of up to 89%, consistently outperforming fine-tuned transformer encoder baselines. Our work provides the first empirical evidence that SAEs can be used to detect software bugs directly from the internal representations of pretrained LLMs, without any fine-tuning or task-specific supervision.
• Abstract（参考訳）: バッファオーバーフローやSQLインジェクションといったソフトウェアの脆弱性は、セキュリティ侵害の主な原因である。 従来の脆弱性検出方法は依然として必須だが、偽陽性率、スケーラビリティの問題、手作業への依存によって制限されている。 これらの制約により、自動脆弱性検出とセキュアなコード生成に対するAIベースのアプローチへの関心が高まっている。 大規模言語モデル(LLM)は、分類タスクのための新しい道を開いたが、その複雑さと不透明さは、解釈可能性とデプロイメントに課題をもたらしている。 Sparse Autoencoderはこの問題に対して有望な解決策を提供する。 我々は,SAEがJava関数のバグ検出の軽量で解釈可能な代替手段として機能するかどうかを探る。 GPT-2 Small と Gemma 2B の表現に適用した場合のSAEsの有効性を評価し,基礎となる LLM を微調整することなく,バギーな動作を明らかにする能力について検討した。 SAE由来の機能は、最大89%のF1スコアでバグ検出を可能にし、微調整されたトランスフォーマーエンコーダのベースラインを一貫して上回っていることがわかった。 我々の研究は、SAEが、微調整やタスク固有の監督なしに、事前訓練されたLSMの内部表現から直接ソフトウェアバグを検出できるという、最初の実証的な証拠を提供する。

関連論文リスト

• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [60.881609323604685]
  ブラックボックスAPIを通じてアクセスされるLarge Language Models (LLM)は、信頼の課題をもたらす。 ユーザーは、宣伝されたモデル機能に基づいたサービスの料金を支払う。 プロバイダは、運用コストを削減するために、特定のモデルを安価で低品質の代替品に隠蔽的に置き換えることができる。 この透明性の欠如は、公正性を損なうとともに、信頼を損なうとともに、信頼性の高いベンチマークを複雑にする。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)
• Benchmarking LLMs and LLM-based Agents in Practical Vulnerability Detection for Code Repositories [8.583591493627276]
  JitVulは、各関数をその脆弱性導入とコミットの修正にリンクする脆弱性検出ベンチマークである。 思考・行動・観察と相互言語的文脈を活用するReAct Agentsは,良性のあるコードと区別する上で,LLMよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-03-05T15:22:24Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Comparison of Static Application Security Testing Tools and Large Language Models for Repo-level Vulnerability Detection [11.13802281700894]
  静的アプリケーションセキュリティテスト(SAST)は通常、セキュリティ脆弱性のソースコードをスキャンするために使用される。 ディープラーニング(DL)ベースの手法は、ソフトウェア脆弱性検出の可能性を実証している。 本稿では,ソフトウェア脆弱性を検出するために,15種類のSASTツールと12種類の最先端のオープンソースLLMを比較した。
  論文  参考訳（メタデータ） (2024-07-23T07:21:14Z)
• How Far Have We Gone in Vulnerability Detection Using Large Language Models [15.09461331135668]
  包括的な脆弱性ベンチマークであるVulBenchを紹介します。 このベンチマークは、幅広いCTF課題と実世界のアプリケーションから高品質なデータを集約する。 いくつかのLSMは、脆弱性検出における従来のディープラーニングアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-21T08:20:39Z)
• Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
  5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。 全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。 ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-16T13:17:20Z)
• WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
  弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。 エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。 提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-05-21T11:58:50Z)
• Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
  SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。 ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2021-03-08T10:56:38Z)
• Autosploit: A Fully Automated Framework for Evaluating the Exploitability of Security Vulnerabilities [47.748732208602355]
  Autosploitは脆弱性の悪用性を評価するためのフレームワークだ。 環境の異なる設定でエクスプロイトを自動的にテストする。 ノイズレス環境とノイズの多い環境の両方で脆弱性を悪用する能力に影響を与えるシステムの特性を識別することができる。
  論文  参考訳（メタデータ） (2020-06-30T18:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。