論文の概要: Confronting the Reproducibility Crisis: A Case Study in Validating Certified Robustness
- arxiv url: http://arxiv.org/abs/2405.18753v1
- Date: Wed, 29 May 2024 04:37:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 18:48:25.186729
- Title: Confronting the Reproducibility Crisis: A Case Study in Validating Certified Robustness
- Title（参考訳）: 再現性危機の解決--認証ロバスト性検証の事例から
- Authors: Richard H. Moulton, Gary A. McCully, John D. Hastings,
- Abstract要約: 本稿では,VeriGauge ツールキットを用いた "SoK: Certified Robustness for Deep Neural Networks" における検証結果の検証を試みる。
ドキュメント化された方法論に従えば、古い依存関係や利用できない依存関係、バージョンコンフリクト、ドライバの不互換性など、多くのソフトウェアとハードウェアの互換性の問題が発生した。
本稿では,コンテナ化やソフトウェア保存,包括的なドキュメントプラクティスといった潜在的なソリューションを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reproducibility is a cornerstone of scientific research, enabling validation, extension, and progress. However, the rapidly evolving nature of software and dependencies poses significant challenges to reproducing research results, particularly in fields like adversarial robustness for deep neural networks, where complex codebases and specialized toolkits are utilized. This paper presents a case study of attempting to validate the results on certified adversarial robustness in "SoK: Certified Robustness for Deep Neural Networks" using the VeriGauge toolkit. Despite following the documented methodology, numerous software and hardware compatibility issues were encountered, including outdated or unavailable dependencies, version conflicts, and driver incompatibilities. While a subset of the original results could be run, key findings related to the empirical robust accuracy of various verification methods proved elusive due to these technical obstacles, as well as slight discrepancies in the test results. This practical experience sheds light on the reproducibility crisis afflicting adversarial robustness research, where a lack of reproducibility threatens scientific integrity and hinders progress. The paper discusses the broader implications of this crisis, proposing potential solutions such as containerization, software preservation, and comprehensive documentation practices. Furthermore, it highlights the need for collaboration and standardization efforts within the research community to develop robust frameworks for reproducible research. By addressing the reproducibility crisis head-on, this work aims to contribute to the ongoing discourse on scientific reproducibility and advocate for best practices that ensure the reliability and validity of research findings within not only adversarial robustness, but security and technology research as a whole.
- Abstract（参考訳）: 再現性は科学的研究の基盤であり、検証、拡張、進歩を可能にする。
しかし、ソフトウェアと依存関係の急速に進化する性質は、特に複雑なコードベースと特殊なツールキットが使用されるディープニューラルネットワークの対角的堅牢性のような分野において、研究結果を再現する上で大きな課題を生んでいる。
本稿では,VeriGauge ツールキットを用いた "SoK: Certified Robustness for Deep Neural Networks" における検証結果の検証を試みる。
ドキュメント化された方法論に従えば、古い依存関係や利用できない依存関係、バージョンコンフリクト、ドライバの不互換性など、多くのソフトウェアとハードウェアの互換性の問題が発生した。
元の結果のサブセットを走らせることができたが、これらの技術的障害と試験結果のわずかな相違により、様々な検証手法の実証的堅牢な精度に関する重要な発見が発覚した。
この実践的な経験は、再現可能性の欠如が科学的完全性を脅かし、進歩を妨げる敵の堅牢性研究に支障をきたす再現性危機に光を当てている。
本稿では,コンテナ化やソフトウェア保存,包括的なドキュメントプラクティスといった潜在的なソリューションを提案する。
さらに、再現可能な研究のための堅牢なフレームワークを開発するために、研究コミュニティ内でのコラボレーションと標準化の取り組みの必要性を強調している。
本研究は, 再現性危機に先立ち, 科学的再現性に関する現在進行中の談話に貢献することを目的としており, 研究成果の信頼性と妥当性を, 敵の堅牢性だけでなく, セキュリティ・技術研究全般において保証するベストプラクティスを提唱する。
関連論文リスト
- Securing Legacy Communication Networks via Authenticated Cyclic Redundancy Integrity Check [98.34702864029796]
認証サイクル冗長性チェック(ACRIC)を提案する。
ACRICは、追加のハードウェアを必要とせずに後方互換性を保持し、プロトコルに依存しない。
ACRICは最小送信オーバーヘッド(1ms)で堅牢なセキュリティを提供する。
論文 参考訳（メタデータ） (2024-11-21T18:26:05Z) - Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-09-23T10:18:10Z) - EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Critical Infrastructure Security: Penetration Testing and Exploit Development Perspectives [0.0]
本稿では,重要なインフラのセキュリティに関する文献をレビューし,浸透試験と活用開発に焦点をあてる。
この論文の発見は、重要なインフラや、サイバー敵による高度な脅威に固有の脆弱性を明らかにしている。
このレビューは、継続的かつ積極的なセキュリティアセスメントの必要性を強調している。
論文 参考訳（メタデータ） (2024-07-24T13:17:07Z) - Generative AI in Cybersecurity [0.0]
生成人工知能(GAI)は、データ分析、パターン認識、意思決定プロセスの分野を変える上で重要な役割を担っている。
GAIは急速に進歩し、サイバーセキュリティプロトコルや規制フレームワークの現在のペースを超越している。
この研究は、マルウェア生成におけるGAIの高度な利用に対抗するために、より複雑な防衛戦略を積極的に特定し、開発する組織にとって重要な必要性を強調している。
論文 参考訳（メタデータ） (2024-05-02T19:03:11Z) - Generative AI for Secure Physical Layer Communications: A Survey [80.0638227807621]
Generative Artificial Intelligence(GAI)は、AIイノベーションの最前線に立ち、多様なコンテンツを生成するための急速な進歩と非並行的な能力を示す。
本稿では,通信ネットワークの物理層におけるセキュリティ向上におけるGAIの様々な応用について,広範な調査を行う。
私たちは、物理的レイヤセキュリティの課題に対処する上で、GAIの役割を掘り下げ、通信の機密性、認証、可用性、レジリエンス、整合性に重点を置いています。
論文 参考訳（メタデータ） (2024-02-21T06:22:41Z) - Trust-based Approaches Towards Enhancing IoT Security: A Systematic Literature Review [3.0969632359049473]
本研究は,IoTに対するTrustベースのサイバーセキュリティセキュリティアプローチについて,系統的な文献レビューを行う。
我々は、これらの脅威に対処するために存在する共通の信頼に基づく緩和テクニックを強調した。
いくつかのオープンな問題が強調され、将来の研究の方向性が提示された。
論文 参考訳（メタデータ） (2023-11-20T12:21:35Z) - Software Repositories and Machine Learning Research in Cyber Security [0.0]
堅牢なサイバーセキュリティ防衛の統合は、ソフトウェア開発のあらゆる段階において不可欠になっている。
ソフトウェア要件プロセスにおけるこれらの初期段階の脆弱性の検出にトピックモデリングと機械学習を活用する試みが実施されている。
論文 参考訳（メタデータ） (2023-11-01T17:46:07Z) - Cyber Security Requirements for Platforms Enhancing AI Reproducibility [0.0]
本研究は、人工知能(AI)の分野に焦点を当て、AIプラットフォームを評価するための新しいフレームワークを紹介する。
Floydhub、BEAT、Codalab、Kaggle、OpenMLの5つの人気AIプラットフォームが評価された。
この分析によると、これらのプラットフォームはいずれも、必要なサイバーセキュリティ対策を完全に組み込んでいない。
論文 参考訳（メタデータ） (2023-09-27T09:43:46Z) - Proceedings of the Artificial Intelligence for Cyber Security (AICS)
Workshop at AAAI 2022 [55.573187938617636]
ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。
サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
論文 参考訳（メタデータ） (2022-02-28T18:27:41Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。