論文の概要: EXE-Bench: Ranking the Tradeoffs of AI-based Windows Malware Detectors for Real-World Usability
- arxiv url: http://arxiv.org/abs/2607.24177v1
- Date: Mon, 27 Jul 2026 09:02:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.370234
- Title: EXE-Bench: Ranking the Tradeoffs of AI-based Windows Malware Detectors for Real-World Usability
- Title(参考訳): EXE-Bench: 現実のユーザビリティのためのAIベースのWindowsマルウェア検出器のトレードオフランキング
- Abstract要約: EXE-BenchはAIベースのWindowsマルウェア検出の包括的なベンチマークである。
デプロイ後のみに行われる評価が最適以下であり、パフォーマンスの全体像を提供することができない点を強調します。
- 参考スコア(独自算出の注目度): 16.225974814813327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the lack of systematic evaluations, we are not yet able to determine which AI-based Windows malware detector to deploy in production, since existing evaluations (i) differ in terms of data used for both training and testing; (ii) do not consider temporal analysis to showcase whether models withstand the passage of time; (iii) avoid security evaluations with adversarial attacks that could highlight their brittleness against content-injection attacks; and (iv) neglect the computational requirements for deployment, risking slow inference on endpoints. For these reasons, we develop EXE-Bench, a comprehensive benchmark of AI-based Windows malware detectors. EXE-Bench assesses performance, temporal and adversarial robustness, and computational overhead, aggregating them into a single score for direct and fair model comparison. Through EXE-Bench, we highlight how evaluations conducted only after deployment are suboptimal and unable to provide a complete picture of their performance. In particular, through our analysis, we remark how much domain knowledge instilled through feature engineering is still extremely useful in this domain, resisting both time and adversarial attacks, in stark contrast with most of the deep networks that only excel right after deployment.
- Abstract(参考訳): 体系的な評価が不足しているため、既存の評価から、どのAIベースのWindowsマルウェア検出器を本番環境にデプロイするかを判断できない。
一 トレーニング及び試験の両方に使用するデータについて異なること。
(二 時間経過に耐えるモデルの有無を示すための時間解析を考慮しない。)
三 コンテンツ注入攻撃に対する脆さを浮き彫りにする敵攻撃によるセキュリティ評価を避けること。
(iv) デプロイメントの計算要求を無視し、エンドポイントの遅延推論を危険にさらす。
これらの理由から,我々はAIベースのWindowsマルウェア検知器の総合的なベンチマークであるEXE-Benchを開発した。
EXE-Benchは、パフォーマンス、時間的および対向的な堅牢性、計算オーバーヘッドを評価し、直接および公正なモデル比較のためにそれらを1つのスコアに集約する。
EXE-Benchを通じて、デプロイ後のみに行われる評価が最適以下であり、パフォーマンスの全体像を提供できない点を強調した。
特に、我々の分析を通じて、このドメインでは、機能エンジニアリングによってどれだけのドメイン知識が組み込まれているかが、まだ非常に有用であり、時間と敵の攻撃の両方に抵抗し、デプロイ直後にのみ優れているディープネットワークのほとんどとは対照的です。
関連論文リスト
- Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。
これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。
実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
論文 参考訳(メタデータ) (2026-06-11T14:12:43Z) - Evasive Intelligence: Lessons from Malware Analysis for Evaluating AI Agents [4.721714035243129]
我々は、AIエージェントの評価は、コンピュータセキュリティにおいてよく知られた障害モードに対して脆弱であると主張している。
マルウェアサンドボックスの回避に関する何十年にもわたっての研究と平行して、これは投機的な懸念ではないことを実証する。
我々は、テスト対象のシステムを潜在的に敵対的なものとして扱うAIエージェントを評価するための具体的な原則を概説する。
論文 参考訳(メタデータ) (2026-03-16T15:55:49Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳(メタデータ) (2026-01-15T08:23:38Z) - Indirect Prompt Injections: Are Firewalls All You Need, or Stronger Benchmarks? [58.48689960350828]
エージェントインタフェースにおけるシンプルでモジュール的で,モデルに依存しないディフェンスが,高ユーティリティで完全なセキュリティを実現することを示す。
ツール入力ファイアウォール(最小限のファイアウォール)とツール出力ファイアウォール(サニタイザ)の2つのファイアウォールをベースとしたディフェンスを採用している。
論文 参考訳(メタデータ) (2025-10-06T18:09:02Z) - Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。
25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。
私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文 参考訳(メタデータ) (2025-10-01T07:59:03Z) - Shell or Nothing: Real-World Benchmarks and Memory-Activated Agents for Automated Penetration Testing [23.554239007767276]
本稿では,世界初の実世界のエージェント指向ペンテストベンチマークTermiBenchを紹介する。
本稿では,多エージェント浸透試験フレームワークTermiAgentを提案する。
評価において,本研究は最先端のエージェントより優れ,より強力な浸透試験能力を示す。
論文 参考訳(メタデータ) (2025-09-11T07:30:44Z) - Breaking Out from the TESSERACT: Reassessing ML-based Malware Detection under Spatio-Temporal Drift [13.730284868830584]
同時に,学習に基づくマルウェア検出の性能に顕著な違いが認められた。
現実的な評価に影響を与える5つの新しい時間的・空間的バイアス要因を同定する。
論文 参考訳(メタデータ) (2025-06-30T13:01:24Z) - Expert-in-the-Loop Systems with Cross-Domain and In-Domain Few-Shot Learning for Software Vulnerability Detection [38.083049237330826]
本研究では,CWE(Common Weaknessions)を用いたPythonコードの識別をシミュレーションすることにより,ソフトウェア脆弱性評価におけるLLM(Large Language Models)の利用について検討する。
その結果,ゼロショットプロンプトは性能が低いが,少数ショットプロンプトは分類性能を著しく向上させることがわかった。
モデル信頼性、解釈可能性、敵の堅牢性といった課題は、将来の研究にとって重要な領域のままである。
論文 参考訳(メタデータ) (2025-06-11T18:43:51Z) - CAPTURE: Context-Aware Prompt Injection Testing and Robustness Enhancement [0.34530027457862006]
攻撃検出と過防衛傾向の両方を評価する新しい文脈認識型ベンチマークであるCAPTUREを紹介する。
実験の結果,現行のプロンプトインジェクションガードレールモデルでは,敵のケースでは高い偽陰性,良性シナリオでは過剰な偽陽性に悩まされていることが明らかとなった。
この新しいモデルでは、コンテキスト認識データセットの偽陰性率と偽陽性率の両方を劇的に削減します。
論文 参考訳(メタデータ) (2025-05-18T11:14:14Z) - DRSM: De-Randomized Smoothing on Malware Classifier Providing Certified
Robustness [58.23214712926585]
我々は,マルウェア検出領域の非ランダム化スムース化技術を再設計し,DRSM(De-Randomized Smoothed MalConv)を開発した。
具体的には,実行可能ファイルの局所構造を最大に保ちながら,逆数バイトの影響を確実に抑制するウィンドウアブレーション方式を提案する。
私たちは、マルウェア実行ファイルの静的検出という領域で、認証された堅牢性を提供する最初の人です。
論文 参考訳(メタデータ) (2023-03-20T17:25:22Z) - Adversarial EXEmples: A Survey and Experimental Evaluation of Practical
Attacks on Machine Learning for Windows Malware Detection [67.53296659361598]
EXEmplesは、比較的少ない入力バイトを摂動することで、機械学習に基づく検出をバイパスすることができる。
我々は、機械学習モデルに対する過去の攻撃を包含し、一般化するだけでなく、3つの新たな攻撃を含む統一フレームワークを開発する。
これらの攻撃はFull DOS、Extended、Shiftと呼ばれ、DOSヘッダをそれぞれ操作し、拡張し、第1セクションの内容を変更することで、敵のペイロードを注入する。
論文 参考訳(メタデータ) (2020-08-17T07:16:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。