論文の概要: Position: Certified Robustness Does Not (Yet) Imply Model Security
- arxiv url: http://arxiv.org/abs/2506.13024v1
- Date: Mon, 16 Jun 2025 01:18:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-17 17:28:47.298956
- Title: Position: Certified Robustness Does Not (Yet) Imply Model Security
- Title(参考訳): 認証されたロバスト性はモデルセキュリティを損なう
- Authors: Andrew C. Cullen, Paul Montague, Sarah M. Erfani, Benjamin I. P. Rubinstein,
- Abstract要約: 認証された堅牢性は、人工知能システムの敵例に対する解決策として推奨される。
我々は,検出のパラドックスを含む,現在の研究における重要なギャップを識別する。
本稿では,これらの基本的な課題に対処し,実用化に向けての分野を前進させる手順を提案する。
- 参考スコア(独自算出の注目度): 29.595213559303996
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: While certified robustness is widely promoted as a solution to adversarial examples in Artificial Intelligence systems, significant challenges remain before these techniques can be meaningfully deployed in real-world applications. We identify critical gaps in current research, including the paradox of detection without distinction, the lack of clear criteria for practitioners to evaluate certification schemes, and the potential security risks arising from users' expectations surrounding ``guaranteed" robustness claims. This position paper is a call to arms for the certification research community, proposing concrete steps to address these fundamental challenges and advance the field toward practical applicability.
- Abstract(参考訳): 認証された堅牢性は、人工知能システムの敵例に対する解決策として広く推奨されているが、これらの技術が現実のアプリケーションに意味のある展開を行う前には、大きな課題が残っている。
本研究は, 識別のパラドックス, 認定制度を評価するための明確な基準の欠如, 「保証された」ロバスト性に関するユーザの期待から生じる潜在的なセキュリティリスクなど, 現状の研究における重要なギャップを明らかにする。
このポジションペーパーは,認定研究コミュニティの力を借りて,これらの基本的な課題に対処し,実用化に向けての分野を前進させる具体的なステップを提案するものである。
関連論文リスト
- Towards provable probabilistic safety for scalable embodied AI systems [79.31011047593492]
エンボディードAIシステムは、様々なアプリケーションでますます普及している。
複雑な運用環境での安全性確保は依然として大きな課題である。
提案する確率的安全性は,大規模展開の残留リスクが予め定義された閾値以下であることを保証することを目的としている。
論文 参考訳(メタデータ) (2025-06-05T15:46:25Z) - Beyond Safe Answers: A Benchmark for Evaluating True Risk Awareness in Large Reasoning Models [29.569220030102986]
textbfBeyond Safe Answers (BSA) ベンチは,3つの異なるSSAシナリオタイプに構成された2,000のチャレンジインスタンスからなる,新しいベンチマークである。
19の最先端のLEMの評価では、このベンチマークの難しさが示され、最高性能のモデルはリスクの合理性を正確に識別する上で、わずか38.0%の精度しか達成していない。
我々の研究は、LEMの安全性推論の忠実さを評価し改善するための総合的な評価ツールを提供し、真にリスクを意識し、確実に安全なAIシステムの開発を進める。
論文 参考訳(メタデータ) (2025-05-26T08:49:19Z) - Zero Trust Cybersecurity: Procedures and Considerations in Context [9.9303344240134]
本稿では、信頼しない原則に基づくZero Trustサイバーセキュリティフレームワークについて検討し、組織内の脆弱性の軽減を常に検証する。
学校や図書館など大量の情報を交換する環境におけるゼロトラストの原則の適用性について検討する。
論文 参考訳(メタデータ) (2025-05-24T21:24:46Z) - Advancing Embodied Agent Security: From Safety Benchmarks to Input Moderation [52.83870601473094]
エンボディード・エージェントは、複数のドメインにまたがって大きな潜在能力を示す。
既存の研究は主に、一般的な大言語モデルのセキュリティに重点を置いている。
本稿では, エンボディエージェントの保護を目的とした新しい入力モデレーションフレームワークを提案する。
論文 参考訳(メタデータ) (2025-04-22T08:34:35Z) - Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。
敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。
GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
論文 参考訳(メタデータ) (2025-03-30T13:26:00Z) - Confronting the Reproducibility Crisis: A Case Study of Challenges in Cybersecurity AI [0.0]
AIベースのサイバーセキュリティの重要な領域は、悪意のある摂動からディープニューラルネットワークを守ることに焦点を当てている。
VeriGauge ツールキットを用いて,認証されたロバスト性に関する先行研究の結果の検証を試みる。
私たちの発見は、標準化された方法論、コンテナ化、包括的なドキュメントの緊急性の必要性を浮き彫りにしています。
論文 参考訳(メタデータ) (2024-05-29T04:37:19Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - What, Indeed, is an Achievable Provable Guarantee for Learning-Enabled
Safety Critical Systems [8.930000909500702]
機械学習は目覚ましい進歩を遂げているが、安全クリティカルな領域で学習可能なコンポーネントを確実に活用することは、依然として課題となっている。
まず,そのようなシステムの設計と検証に関わる工学的課題と研究課題について論じる。
そして,既存の研究が実際に証明可能な保証を達成できないという観察に基づいて,証明可能な統計的保証の最終的な達成のための2段階の検証手法を推進した。
論文 参考訳(メタデータ) (2023-07-20T12:40:55Z) - Rethinking Certification for Trustworthy Machine Learning-Based
Applications [3.886429361348165]
機械学習(ML)は、非決定論的振る舞いを持つ高度なアプリケーションの実装にますます使われています。
既存の認証スキームは、MLモデル上に構築された非決定論的アプリケーションにはすぐには適用されない。
本稿では、現状の認定制度の課題と欠陥を分析し、オープンな研究課題について論じ、MLベースのアプリケーションのための最初の認定制度を提案する。
論文 参考訳(メタデータ) (2023-05-26T11:06:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。