論文の概要: KaliBench: A Fine-Grained Benchmark for Cybersecurity Tool Use on Kali Linux with Runtime-Free Verifiable Rewards
- arxiv url: http://arxiv.org/abs/2610.02206v1
- Date: Thu, 01 Oct 2026 17:59:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.375708
- Title: KaliBench: A Fine-Grained Benchmark for Cybersecurity Tool Use on Kali Linux with Runtime-Free Verifiable Rewards
- Title（参考訳）: KaliBench: 実行時検証可能なリワードを備えたKali Linuxで使用されるセキュリティツールの詳細なベンチマーク
- Abstract要約: KaliBenchは、Kali Linux上の自然言語からCLIへの翻訳のためのきめ細かいベンチマークである。
KaliBenchは、決定論的正準化とエイリアス認識評価を備えた、原稿付きパイプラインで構築されている。
制限のない設定では、オープンウェイトモデルは42%の正確なコマンド精度を超えない。
- 参考スコア（独自算出の注目度）: 29.94243013060741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs are increasingly applied to cybersecurity workflows, where they are expected to translate analysts' intent into tool invocations. However, existing evaluations focus on knowledge-based assessments or end-to-end agentic tasks, and do not directly measure LLMs' ability to generate executable commands for real-world cybersecurity tools. This gap is critical because cybersecurity operations rely on strict command-line interfaces (CLIs), where minor syntax errors, incorrect flag--value bindings, or argument misordering can invalidate execution. We introduce KaliBench, a fine-grained benchmark and dataset for natural-language--to--CLI translation on Kali Linux, comprising 8,504 query--command pairs spanning 1,642 tools across 23 capability dimensions and 5 security phases. KaliBench is constructed via a manuscript-grounded pipeline with deterministic canonicalization and alias-aware evaluation, enabling precise and reproducible assessment of tool selection and argument construction. To ensure both semantic correctness and practical executability, we develop a multi-stage verification pipeline that combines LLM-based validation, sandboxed terminal execution, and human-in-the-loop refinement. Building on these fine-grained, deterministic signals, KaliBench further enables runtime-free verifiable rewards for training. Across three evaluation modes and 24 configurations of general-purpose and security-focused open-weight models, no open-weight model exceeds 42% exact-command accuracy in the unrestricted setting, highlighting the difficulty of accurate CLI-based cybersecurity tool use without explicit tool hints. We further show that supervised fine-tuning and reinforcement learning with verifiable rewards derived from KaliBench significantly improve an 8B model and achieve performance comparable to a 685B MoE model.
- Abstract（参考訳）: LLMはますますサイバーセキュリティのワークフローに適用され、アナリストの意図をツール呼び出しに変換することが期待されている。
しかし、既存の評価は知識に基づく評価やエンドツーエンドのエージェントタスクに重点を置いており、LLMが現実のサイバーセキュリティツールに対して実行可能なコマンドを生成する能力を直接測定するものではない。
このギャップは、サイバーセキュリティ操作が厳格なコマンドラインインターフェース(CLI)に依存しているため重要である。
我々はKali Linux上の自然言語--------CLI翻訳のための詳細なベンチマークとデータセットであるKaliBenchを紹介し、23の能力ディメンションと5つのセキュリティフェーズにまたがる1,642のツールにまたがる8,504のクエリ-コマンドペアを構成した。
KaliBenchは、決定論的正準化とエイリアス認識評価を備えた、手書きのパイプラインを通じて構築され、ツールの選択と引数構成の正確かつ再現可能な評価を可能にする。
意味的正当性と実用的実行可能性の両立を図るため,LLMに基づく検証,サンドボックス端末の実行,マルチステージ・イン・ザ・ループ・リファインメントを組み合わせた検証パイプラインを開発した。
これらのきめ細かい決定論的信号に基づいて、KaliBenchはさらに、トレーニングのためのランタイムのない検証可能な報酬を可能にする。
汎用およびセキュリティを重視したオープンウェイトモデルの3つの評価モードと24の設定を通じて、オープンウェイトモデルは制限のない設定で42%の正確なコマンド精度を超え、明示的なツールヒントのないCLIベースのサイバーセキュリティツールの使用の難しさを強調している。
さらに,KaliBenchから得られた検証可能な報酬を用いた微調整と強化学習が8Bモデルを大幅に改善し,685B MoEモデルに匹敵する性能を達成することを示す。
関連論文リスト
- REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming [0.0]
大規模な言語モデル(LLM)は、リバースエンジニアリングタスクにますます適用されている。
しかし、彼らの能力に関する主張は、それを測定する能力よりも優れている。
本稿では,関数レベル基底真理をCソースから構築する証明追跡パイプラインであるReforgeを提案する。
論文 参考訳（メタデータ） (2026-07-07T23:17:03Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - CrypFormBench: Benchmarking Formal Analysis Capability of Large Language Models for Cryptographic Schemes [16.171581449458582]
大規模言語モデル(LLM)は有望な代替手段であるが、この領域におけるそれらの有効性は未解明のままである。
CrypFormBench (C.F.B) は,5つのコアLLM機能を評価するために,シンボル的および計算的セキュリティを共同でカバーするベンチマークである。
677のスキームにまたがる700のインスタンス、7つの主要な形式検証言語、160のセキュリティプロパティで構成されている。
クロード3.5は100点中48.7点で最高得点を記録した。
論文 参考訳（メタデータ） (2026-06-24T08:37:38Z) - Trace2Policy: From Expert Behavior Traces to Self-Evolving Decision Agents [5.689042186242701]
企業の専門家が暗黙的に適用する決定ルールは、反復的エラー分析によって体系的に回復し、改善することができる。
基本機構は textbfEISR である textbfTrace2Policy について述べる。
各ラウンドは検証セット上でルールを実行し、ルート原因によるエラーをMISSING、WRONG、CONFLICTタイプにクラスタし、ターゲットパッチを適用し、レグレッションゲートを通過するもののみをコミットする。
論文 参考訳（メタデータ） (2026-06-09T06:05:29Z) - Is Vibe Coding the Future? An Empirical Assessment of LLM Generated Codes for Construction Safety [0.14504054468850666]
本研究では,450のビブ符号化Pythonスクリプトの信頼性,ソフトウェアアーキテクチャ,ドメイン固有の安全性を実証的に評価する。
その結果、ユーザペルソナとデータ幻覚の極めて重要な関係が明らかとなり、フォーマルでないプロンプトがAIの適合性を劇的に増加させ、欠落した安全変数を発明することを示した。
論文 参考訳（メタデータ） (2026-04-14T05:42:29Z) - Controllable and Verifiable Tool-Use Data Synthesis for Agentic Reinforcement Learning [82.89535601592739]
マルチレベル検証を用いた自己進化型合成により,信頼性の高い基本ツール利用軌跡を生成する2段階パイプラインを提案する。
これらの拡張は、トラクタツール、間接的または曖昧なユーザクエリ、ノイズ、マルチフォーマット、あるいは誤ったツール出力を導入します。
本設計では,標準事例に対する参照マッチングによる報酬の自動計算と,エラー検出などの特別な動作に対する軽量な判断支援検証を実現する。
論文 参考訳（メタデータ） (2026-04-10T18:38:52Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。
本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。
我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
論文 参考訳（メタデータ） (2025-11-11T21:50:44Z) - Can Large Language Models Detect Real-World Android Software Compliance Violations? [3.7278558081099544]
現在のモデルは、さまざまな法律フレームワークにわたるAndroidアプリケーションのコンプライアンス違反を検出するのに苦労している。
コンプライアンス違反を検知するLLMの能力を評価するための新しい評価フレームワークであるemphCompliBenchを提案する。
GPT-4OやClaude-3.5を含む6つのモデルによる実験では、emphCompliBenchはコンプライアンス検出を改善している。
論文 参考訳（メタデータ） (2025-11-01T16:58:33Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。