論文の概要: Beyond F1: Evaluating Coverage and Failure Recovery in AI Model Security Scanners

• arxiv url: http://arxiv.org/abs/2608.27424v1
• Date: Thu, 27 Aug 2026 17:49:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.517375
• Title: Beyond F1: Evaluating Coverage and Failure Recovery in AI Model Security Scanners
• Title（参考訳）: F1を超えて - AIモデルセキュリティスキャナのカバレッジと障害回復を評価する
• Abstract要約: 静的スキャナは、機械学習アーティファクトの実行可能なコンテンツや、その他の安全でないコンテンツを特定するために、ますます使われている。 我々は,170個のアーティファクトの合成コーパス上で,制御されたアーティファクト支援ベンチマークを用いて,ModelScan,ModelAudit,Ficklingを評価する。
• 参考スコア（独自算出の注目度）: 0.27728956081909345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Static scanners are increasingly used to identify executable or otherwise unsafe content in machine- learning artifacts, yet conventional evaluation metrics characterize only cases where a scanner yields a usable security judgment. We evaluate ModelScan, ModelAudit, and Fickling using a controlled, artifact-backed benchmark on a synthetic corpus of 170 Pickle and PyTorch focused artifacts across 145 specimen families, 135 of which have binary security ground truth and 10 of which are intentionally malformed without labels. We explicitly distinguish non-N/A coverage, analysis completion, definitive security decisions, non-security findings, and unsupported outcomes. On labeled families, ModelAudit produced definitive security decisions for all 135 families (100%), Fickling for 110 (81.5%), and ModelScan for 67 (49.6%). Conditional on making a definitive judgment, ModelScan achieved 100% precision, recall, and F1. Fickling identified no unique true- positive families beyond those found by the combination of ModelAudit and ModelScan. Furthermore, for the 48 malicious families where ModelScan failed to complete its analysis, both ModelAudit and Fickling generated detections consistent with ground truth. These findings underscore the need to separate judgment accuracy from judgment availability, as well as incremental detection coverage from tool-level redundancy.
• Abstract（参考訳）: 静的スキャナーは、機械学習のアーティファクトにおいて実行可能あるいは安全でないコンテンツを識別するために使われることが多いが、従来の評価基準では、スキャナーが使用可能なセキュリティ判断を下す場合のみを特徴付ける。 モデルスキャン, モデル監査, フィックリングを, 170個のピクルスとPyTorchの合成コーパスを用いて評価した。 非N/Aカバレッジ、分析完了、決定的なセキュリティ決定、非セキュリティ発見、サポート対象の成果を明確に区別する。 ラベル付き家族では、ModelAuditが135家族(100%)、Ficklingが110家族(81.5%)、ModelScanが67家族(49.6%)に対して決定的なセキュリティ判断を下した。 決定的な判断を下す条件として、ModelScanは100%精度、リコール、F1を達成した。 Fickling氏はModelAuditとModelScanの組み合わせ以外に、ユニークな真陽性の家族は特定していない。 さらに、ModelScanが解析を完了できなかった48の悪意ある家族に対して、ModelAuditとFicklingはどちらも、地上の真実と一致した検出を生成した。 これらの知見は,判定精度と判定精度を分離し,ツールレベルの冗長性から段階的な検出範囲を抽出する必要性を浮き彫りにした。

関連論文リスト

• ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
  我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。 Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。 曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-08-25T23:21:57Z)
• aiXamine: Unified Black-Box Evaluation of Cross-Dimensional Trade-offs in LLM Safety, Security, and Privacy [6.323488051975665]
  AiXamineは、セキュリティ、セキュリティ、プライバシを相互依存プロパティとして評価する統合ブラックボックスプラットフォームである。 AiXamineは、自動化されたリチームパイプラインを通じて、9つのサービスにわたる46のテストをオーケストレーションする。 我々は,これまでで最大規模の共同安全性,セキュリティ,プライバシ調査を行い,単一軸評価で見えない3次元の現象を明らかにした。
  論文  参考訳（メタデータ） (2026-08-20T20:33:35Z)
• Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring [1.0170129555792935]
  802.11パケットキャプチャの診断には、専門家のプロトコル知識が必要で、遅く、エンジニア間で一貫性がなく、スケールできない。 LLMベースのアプローチは、キャプチャーから欠落するが製造されたプロトコルイベントを聴取し、未校正された信頼スコアを生成し、テスト中のモデルによって黄金の基準が共同生成されると評価バイアスを被る。 PROBEは3つの障害に対処する多段階パイプラインである。
  論文  参考訳（メタデータ） (2026-06-05T03:39:58Z)
• ClawHub Security Signals: When VirusTotal, Static Analysis, and SkillSpector Disagree [0.4464102544889847]
  ClawHub Security Signalsは67,453の最新のOpenClawスキルバージョンをサニタイズしたデータセットである。 各行はSKILL.mdコンテンツと、最後のClawScanレジストリの検証と3つのスキャナーファミリからのエビデンスを含む、サニタイズされたバンドルファイルとをペアリングする。 悪質なスキルの有病率を推定するよりも、スキャナの不一致を調査する。 これらの結果は、エージェントスキルのセキュリティは、単一スキャナの許容/ブロック決定ではなく、階層化されたガバナンスを必要とすることを示している。
  論文  参考訳（メタデータ） (2026-05-31T23:20:25Z)
• Severe Domain Shift in Skeleton-Based Action Recognition:A Study of Uncertainty Failure in Real-World Gym Environments [0.0]
  本稿では,新しいGym2DデータセットとUCF101データセットを用いて,厳しい領域シフトの体系的研究を行う。 我々の研究は、標準的なデプロイメント仮定に挑戦し、セマンティックスケルトン認識と幾何学的スケルトン認識の両方のデプロイの安全性を原則として分析する。
  論文  参考訳（メタデータ） (2026-03-16T17:37:17Z)
• Deep Unsupervised Anomaly Detection in Brain Imaging: Large-Scale Benchmarking and Bias Analysis [42.60508892284938]
  脳画像の深部教師なし異常検出のための大規模マルチセンターベンチマークを提案する。 健康なデータセットと多様な臨床コホートにまたがる2,221T1wと1,262T2wのスキャンを行った。 我々のベンチマークは今後の研究の透明な基盤を確立し、臨床翻訳の優先順位を強調している。
  論文  参考訳（メタデータ） (2025-12-01T11:03:27Z)
• Selective Diabetic Retinopathy Screening with Accuracy-Weighted Deep Ensembles and Entropy-Guided Abstention [0.0]
  糖尿病網膜症(DR)は2030年までに全世界で1億3000万人以上の患者に影響を与えると予測されている。 不確実性推定と統合された深層アンサンブル学習フレームワークを導入し,DR検出における堅牢性,透明性,スケーラビリティを向上させる。 35,000個のEyePACS網膜基底画像のトレーニングと検証は、未濾過の精度93.70%を生み出した。
  論文  参考訳（メタデータ） (2025-10-29T04:16:04Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Uncertainty-inspired Open Set Learning for Retinal Anomaly Identification [71.06194656633447]
  9つの網膜条件の基底像をトレーニングし,不確実性に着想を得たオープンセット(UIOS)モデルを構築した。 しきい値戦略を持つUIOSモデルはF1スコア99.55%、97.01%、91.91%を達成した。 UIOSは、高い不確実性スコアを正しく予測し、非ターゲットの網膜疾患、低品質の眼底画像、および非基本画像のデータセットを手動でチェックする必要があることを示唆した。
  論文  参考訳（メタデータ） (2023-04-08T10:47:41Z)
• Cascaded Structure Tensor Framework for Robust Identification of Heavily Occluded Baggage Items from X-ray Scans [45.39173572825739]
  本稿では, 密閉・散在した荷物から疑わしいアイテムを自動的に抽出し, 認識することのできるケースケード構造テンソルフレームワークを提案する。 提案フレームワークは,GDXrayおよびSIXrayデータセットから1067,381個のX線スキャンを用いて,厳密に評価されている。
  論文  参考訳（メタデータ） (2020-04-14T20:00:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。