論文の概要: RustMizan: A Compilable, Contamination-Aware Benchmarking Framework for Rust Vulnerabilities
- arxiv url: http://arxiv.org/abs/2607.04729v1
- Date: Mon, 06 Jul 2026 07:02:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.066571
- Title: RustMizan: A Compilable, Contamination-Aware Benchmarking Framework for Rust Vulnerabilities
- Title(参考訳): RustMizan: Rust脆弱性に対するコンパイル可能で汚染対応のベンチマークフレームワーク
- Abstract要約: RustMizanは、Rustの脆弱性分析のためのベンチマークフレームワークである。
これには、バイナリ脆弱性検出、CWE分類、関数と行レベルのローカライゼーションのためのアノテーションを含む、crate、ファイル、関数レベルのコンパイル可能なコード変種が含まれている。
ペア突然変異フレームワークは、汚染試験と堅牢性探索のためのセマンティックス保存コード変異体を生成する。
- 参考スコア(独自算出の注目度): 16.62588022496347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents are increasingly applied to vulnerability analysis, but existing benchmarks have not kept pace. They typically rely on small non-compilable snippets, focus on binary classification (vulnerable or not), and do not account for the risk that publicly-released datasets are part of model training corpora. We introduce RustMizan, a benchmarking framework for Rust vulnerability analysis that addresses these gaps. RustMizan contains compilable code variants at the crate, file, and function levels, with annotations for binary vulnerability detection, CWE classification, and function- and line-level localization. A paired mutation framework produces semantics-preserving code mutants for contamination testing and robustness probing. Across four frontier models in an agentic setup with command-line access, binary classification sits in the 56-65% range, but line localization F1 stays near 20%, and adversarial cues drop line F1 by about 27%.
- Abstract(参考訳): LLMエージェントは、脆弱性分析にますます適用されているが、既存のベンチマークはペースを保っていない。
通常は、小さなコンパイル不可能なスニペットに頼り、バイナリ分類に重点を置いており、公開リリースデータセットがモデルトレーニングコーパスの一部であるリスクを考慮していない。
Rustの脆弱性分析のためのベンチマークフレームワークであるRustMizanを紹介し、これらのギャップに対処する。
RustMizanには、バイナリ脆弱性検出、CWE分類、関数と行レベルのローカライゼーションのためのアノテーションを備えた、crate、ファイル、関数レベルのコンパイル可能なコード変種が含まれている。
ペア突然変異フレームワークは、汚染試験と堅牢性探索のためのセマンティックス保存コード変異体を生成する。
コマンドラインアクセスを備えたエージェント設定の4つのフロンティアモデル全体では、バイナリ分類は56-65%の範囲にあるが、ラインローカライゼーションF1は20%近くであり、敵のキューは27%減少する。
関連論文リスト
- Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale [54.83971397981572]
言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。
サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。
脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
論文 参考訳(メタデータ) (2026-09-14T17:44:51Z) - Code-Centric Detection of Vulnerability-Fixing Commits: A Unified Benchmark and Empirical Study [4.512751676075442]
本稿では,統合フレームワークによる言語モデルに基づくVFC検出の包括的評価を行う。
コードの変更だけで、モデルが転送可能なセキュリティ関連コードを理解する証拠は見つからない。
グループ階層評価は、ランダムスプリットに比べて約17%のパフォーマンス低下を露呈する。
論文 参考訳(メタデータ) (2026-05-13T08:05:14Z) - AsmRAG: LLM-Driven Malware Detection by Retrieving Functionally Similar Assembly Code [1.2183405753834562]
本稿では,AsmRAGについて紹介する。
このシステムは、LLM(Code-specialized Large Language Model)を使用してアセンブリ関数を分析し、それらをセマンティックな埋め込みに変換する。
そこで本研究では,バイナリ内の悪意論理の一次単位を分離し,検証可能な法医学的証拠を抽出し,回避の試みに抵抗する密度重み付きアンカー選択機構を提案する。
論文 参考訳(メタデータ) (2026-04-25T08:05:50Z) - CLASP: Defending Hybrid Large Language Models Against Hidden State Poisoning Attacks [48.54598003197356]
Mambaのような状態空間モデル(SSM)はトランスフォーマーの効率的な代替品として大きな注目を集めている。
HiSPAsは、最近発見された脆弱性で、敵対する文字列を通じてSSMメモリを破損させる。
この脅威に対して防御するためのCLASPモデルを紹介します。
論文 参考訳(メタデータ) (2026-03-12T17:29:55Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳(メタデータ) (2026-02-04T00:12:30Z) - Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。
kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。
kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
論文 参考訳(メタデータ) (2026-02-02T19:06:15Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳(メタデータ) (2026-01-30T08:29:01Z) - Exposing Hidden Interfaces: LLM-Guided Type Inference for Reverse Engineering macOS Private Frameworks [7.370020034607549]
MOTIFは、ツール拡張分析とObjective-C型推論に特化した大きな言語モデルを統合するエージェントフレームワークである。
バイナリを解析可能なインターフェースに変換することで、MOTIFはランタイム内部の体系的な監査のためのスケーラブルな基盤を確立する。
論文 参考訳(メタデータ) (2026-01-04T21:44:55Z) - From Trace to Line: LLM Agent for Real-World OSS Vulnerability Localization [14.474705451897691]
プロジェクトレベルのエンドツーエンドフレームワークであるT2L-Agentは、独自の分析を計画し、モジュールから正確な脆弱なラインまでスコープを狭める。
T2L-ARVOは,5つのクラッシュファミリと実世界のプロジェクトにまたがる,多種多様な,専門家が検証した50ケースのベンチマークです。
T2L-ARVOでは、T2L-Agentは58.0%の検出と54.8%のラインレベルのローカライゼーションを達成する。
論文 参考訳(メタデータ) (2025-09-30T22:27:18Z) - CRUST-Bench: A Comprehensive Benchmark for C-to-safe-Rust Transpilation [51.18863297461463]
CRUST-Benchは100のCリポジトリのデータセットで、それぞれが安全なRustとテストケースで手書きのインターフェースとペアリングされている。
我々は、このタスクで最先端の大規模言語モデル(LLM)を評価し、安全で慣用的なRust生成が依然として難しい問題であることを確認した。
最高のパフォーマンスモデルであるOpenAI o1は、ワンショット設定で15タスクしか解決できない。
論文 参考訳(メタデータ) (2025-04-21T17:33:33Z) - Fine-Grained 1-Day Vulnerability Detection in Binaries via Patch Code Localization [12.73365645156957]
バイナリの1日間の脆弱性は、ソフトウェアセキュリティに対する大きな脅威になっている。
パッチの有無テストは 脆弱性を検出する効果的な方法の1つです
パッチコードとそのコンテキストから安定な値を利用するPLocatorという新しい手法を提案する。
論文 参考訳(メタデータ) (2025-01-29T04:35:37Z) - RustRepoTrans: Repository-level Code Translation Benchmark Targeting Rust [50.65321080814249]
RustRepoTransは、インクリメンタル翻訳をターゲットにした、最初のリポジトリレベルのコンテキストコード変換ベンチマークである。
複雑な翻訳シナリオの制約を評価するために, 7つの代表的なLLMを評価し, それらの誤差を分析した。
論文 参考訳(メタデータ) (2024-11-21T10:00:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。