論文の概要: NeuralSentinel: Safeguarding Neural Network Reliability and
Trustworthiness
- arxiv url: http://arxiv.org/abs/2402.07506v1
- Date: Mon, 12 Feb 2024 09:24:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 14:55:55.372508
- Title: NeuralSentinel: Safeguarding Neural Network Reliability and
Trustworthiness
- Title（参考訳）: NeuralSentinel: ニューラルネットワークの信頼性と信頼性の保護
- Authors: Xabier Echeberria-Barrio, Mikel Gorricho, Selene Valencia, Francesco
Zola
- Abstract要約: 我々は,AIモデルの信頼性と信頼性を検証するツールであるNeuralSentinel(NS)を提案する。
NSは、モデル決定を理解することによって、専門家以外のスタッフがこの新しいシステムに対する信頼を高めるのに役立つ。
このツールはハッカソンイベントにデプロイされ、皮膚がん画像検出器の信頼性を評価するために使用された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The usage of Artificial Intelligence (AI) systems has increased
exponentially, thanks to their ability to reduce the amount of data to be
analyzed, the user efforts and preserving a high rate of accuracy. However,
introducing this new element in the loop has converted them into attacked
points that can compromise the reliability of the systems. This new scenario
has raised crucial challenges regarding the reliability and trustworthiness of
the AI models, as well as about the uncertainties in their response decisions,
becoming even more crucial when applied in critical domains such as healthcare,
chemical, electrical plants, etc. To contain these issues, in this paper, we
present NeuralSentinel (NS), a tool able to validate the reliability and
trustworthiness of AI models. This tool combines attack and defence strategies
and explainability concepts to stress an AI model and help non-expert staff
increase their confidence in this new system by understanding the model
decisions. NS provide a simple and easy-to-use interface for helping humans in
the loop dealing with all the needed information. This tool was deployed and
used in a Hackathon event to evaluate the reliability of a skin cancer image
detector. During the event, experts and non-experts attacked and defended the
detector, learning which factors were the most important for model
misclassification and which techniques were the most efficient. The event was
also used to detect NS's limitations and gather feedback for further
improvements.
- Abstract（参考訳）: 人工知能(AI)システムの利用は、分析するデータの量を減らす能力、ユーザの努力、高い精度の保存能力により、指数関数的に増加している。
しかし、この新たな要素をループに導入することで、システムの信頼性を損なう攻撃ポイントに変化した。
この新たなシナリオは、aiモデルの信頼性と信頼性、および彼らの応答決定の不確実性に関する重要な課題を提起し、医療、化学、電気設備などの重要な領域に適用される場合にさらに重要になった。
本稿では,aiモデルの信頼性と信頼性を検証するためのツールであるneuralsentinel(ns)を提案する。
このツールは、攻撃と防衛戦略と説明可能性の概念を組み合わせて、AIモデルを強調し、モデル決定を理解することによって、専門家以外のスタッフがこの新しいシステムに対する信頼を高めるのに役立つ。
NSは、必要なすべての情報を扱うループ内の人間を助ける、シンプルで使いやすいインターフェースを提供する。
このツールはハッカソンイベントにデプロイされ、皮膚がん画像検出器の信頼性を評価するために使用された。
イベント中、専門家と非専門家は検出器を攻撃し、どの要素がモデルの誤分類に最も重要か、どのテクニックが最も効率的かを学習した。
このイベントはNSの制限を検出し、さらなる改善のためのフィードバックを集めるためにも使用された。
関連論文リスト
- Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳（メタデータ） (2024-02-07T21:58:40Z) - Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability,
Explainability, and Safety [11.933469815219544]
我々は、NeuroSymbolicメソッド上で、一貫性、信頼性、ユーザレベルの説明可能性、安全性がどのように構築されているかを示すCRESTフレームワークを紹介します。
この記事では、CRESTフレームワーク内で選択されたAIシステムとして、Large Language Models(LLM)に焦点を当てる。
論文 参考訳（メタデータ） (2023-12-05T06:13:55Z) - Building Safe and Reliable AI systems for Safety Critical Tasks with
Vision-Language Processing [1.2183405753834557]
現在のAIアルゴリズムでは、障害検出の一般的な原因を特定できない。
予測の質を定量化するためには、追加のテクニックが必要である。
この論文は、分類、画像キャプション、視覚質問応答といったタスクのための視覚言語データ処理に焦点を当てる。
論文 参考訳（メタデータ） (2023-08-06T18:05:59Z) - Understanding and Enhancing Robustness of Concept-based Models [41.20004311158688]
対向摂動に対する概念ベースモデルの堅牢性について検討する。
本稿では、まず、概念ベースモデルのセキュリティ脆弱性を評価するために、さまざまな悪意ある攻撃を提案し、分析する。
そこで我々は,これらのシステムのロバスト性を高めるための,汎用的対人訓練に基づく防御機構を提案する。
論文 参考訳（メタデータ） (2022-11-29T10:43:51Z) - Inter-Domain Fusion for Enhanced Intrusion Detection in Power Systems:
An Evidence Theoretic and Meta-Heuristic Approach [0.0]
ICSネットワークにおけるIDSによる不正な警告は、経済的および運用上の重大な損害をもたらす可能性がある。
本研究は,CPS電力系統における誤警報の事前分布を伴わずに不確実性に対処し,誤警報を低減する手法を提案する。
論文 参考訳（メタデータ） (2021-11-20T00:05:39Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T08:02:27Z) - On the benefits of robust models in modulation recognition [53.391095789289736]
畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。
画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。
最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-27T19:58:06Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳（メタデータ） (2020-11-02T20:04:18Z) - A Safety Framework for Critical Systems Utilising Deep Neural Networks [13.763070043077633]
本稿では,ディープニューラルネットワークを利用したクリティカルシステムのための新しい安全引数フレームワークを提案する。
このアプローチは、例えば、ある要求をパスする将来の信頼性、あるいは必要な信頼性レベルへの信頼など、様々な形の予測を可能にする。
運用データを用いたベイズ解析と,近年のディープラーニングの検証と検証技術によって支援されている。
論文 参考訳（メタデータ） (2020-03-07T23:35:05Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳（メタデータ） (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。