論文の概要: On the Security of Research Artifacts
- arxiv url: http://arxiv.org/abs/2605.06508v1
- Date: Thu, 07 May 2026 16:21:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.989531
- Title: On the Security of Research Artifacts
- Title(参考訳): 研究成果物の安全性について
- Authors: Nanda Rani, Christian Rossow,
- Abstract要約: アーティファクト評価(AE)は、アーティファクトが要求通りに動作し、再生可能であるかどうかを主にチェックする。
最上位のセキュリティ会場から509件の研究成果を調査し、その多くが安全でないコードパターンを含んでいることを発見した。
このようなリスクの構造化分析を可能にするために,文脈対応型セキュリティアセスメントのための分類法を提案する。
- 参考スコア(独自算出の注目度): 11.769142406586779
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research artifacts are widely shared to support reproducibility, and artifact evaluation (AE) has become common at many leading conferences. However, AE mainly checks whether artifacts work as claimed and can be reproduced. It largely overlooks potential security risks. Since these artifacts are publicly released and reused, they may unintentionally create opportunities for misuse and raise concerns about safe and responsible sharing. We study 509 research artifacts from top-tier security venues and find that many contain insecure code patterns that may introduce potential attack vectors. We propose a taxonomy for context-aware security assessment to enable structured analysis of such risks. We perform static analysis and examine the resulting findings, filtering false positives and identifying real security risks. Our analysis shows that 41.60% of the prevalent findings may pose security concerns under practical usage. To support scalable analysis, we introduce SAFE (Security-Aware Framework for Artifact Evaluation), a first step toward an autonomous framework that analyzes tool-reported findings by considering code semantics, execution context, and practical exploitability. SAFE achieves 84.80% accuracy and 84.63% F1-score in distinguishing security and non-security risks. Overall, our results show that security is also important in AE for promoting safe and responsible research sharing. The source code is available at: https://github.com/nanda-rani/SAFE
- Abstract(参考訳): 研究成果物は再現性をサポートするために広く共有されており、多くの主要な会議でアーティファクト評価(AE)が一般的になっている。
しかし、AEは主に、アーティファクトが要求通りに動作し、再生可能であるかどうかをチェックします。
主にセキュリティ上のリスクを見落としている。
これらのアーティファクトは公開され再利用されるため、意図的に誤用する機会を生み出し、安全で責任ある共有に関する懸念を提起する可能性がある。
最上位のセキュリティ会場から509件の研究成果を調査した結果,攻撃ベクトルの可能性のある安全でないコードパターンが多数含まれていることが判明した。
このようなリスクの構造化分析を可能にするために,文脈対応型セキュリティアセスメントのための分類法を提案する。
静的解析を行い、その結果を検証し、偽陽性をフィルタリングし、実際のセキュリティリスクを特定する。
分析の結果,41.60%の発見が,実用化時にセキュリティ上の懸念を生じさせる可能性が示唆された。
SAFE(Security-Aware Framework for Artifact Evaluation)は,コードセマンティクスや実行コンテキスト,実践的利用性などを考慮して,ツール報告された結果を分析する自律的なフレームワークである。
SAFEは、セキュリティと非セキュリティリスクの区別において、84.80%の精度と84.63%のF1スコアを達成した。
以上の結果から,安全かつ責任ある研究共有を促進する上で,AEのセキュリティも重要であることが示唆された。
ソースコードは、https://github.com/nanda-rani/SAFEで入手できる。
関連論文リスト
- SafeSci: Safety Evaluation of Large Language Models in Science Domains and Beyond [134.43113804188195]
安全評価と科学的文脈の強化のための包括的枠組みであるSafeSciを紹介する。
SafeSciには、0.25Mサンプルを持つマルチディシプリナのベンチマークであるSafeSciBenchと、安全性向上のための1.5Mサンプルを含む大規模データセットであるSafeSciTrainが含まれている。
論文 参考訳(メタデータ) (2026-03-02T08:16:04Z) - How Should We Enhance the Safety of Large Reasoning Models: An Empirical Study [90.34190170330481]
大規模推論モデル(LRM)は数学やプログラミングのような推論集約的なタスクにおいて顕著な成功を収めた。
しかし、その強化された推論能力は必ずしも安全性能の向上に必ずしも寄与しない。
スーパーバイザード・ファイン・チューニング(Supervised Fine-Tuning)によるLEMの安全性向上に関する総合的な実証研究について述べる。
論文 参考訳(メタデータ) (2025-05-21T11:45:29Z) - SafetyAnalyst: Interpretable, Transparent, and Steerable Safety Moderation for AI Behavior [56.10557932893919]
我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。
AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。
効果を28個の完全に解釈可能な重みパラメータを使って有害度スコアに集約する。
論文 参考訳(メタデータ) (2024-10-22T03:38:37Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳(メタデータ) (2024-07-31T17:59:24Z) - What Can Self-Admitted Technical Debt Tell Us About Security? A
Mixed-Methods Study [6.286506087629511]
自己充足型技術的負債(SATD)
潜在的に悪用可能な脆弱性や セキュリティ上の欠陥に関する 恐ろしい情報源と見なすことができます
本研究は、SATDのセキュリティへの影響を、技術と開発者中心の観点から検討する。
論文 参考訳(メタデータ) (2024-01-23T13:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。