論文の概要: MLGuard: Defend Your Machine Learning Model!
- arxiv url: http://arxiv.org/abs/2309.01379v1
- Date: Mon, 4 Sep 2023 06:08:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 09:15:58.572867
- Title: MLGuard: Defend Your Machine Learning Model!
- Title(参考訳): MLGuard: マシンラーニングモデルの定義!
- Authors: Sheng Wong, Scott Barnett, Jessica Rivera-Villicana, Anj Simmons, Hala
Abdelkader, Jean-Guy Schneider, Rajesh Vasa
- Abstract要約: 機械学習アプリケーションのコントラクトを指定する新しいアプローチであるMLGuardを提案する。
私たちの仕事は、MLアプリケーションの構築と安全性の監視に必要な、包括的なフレームワークを提供することを目的としています。
- 参考スコア(独自算出の注目度): 3.4069804433026314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine Learning (ML) is used in critical highly regulated and high-stakes
fields such as finance, medicine, and transportation. The correctness of these
ML applications is important for human safety and economic benefit. Progress
has been made on improving ML testing and monitoring of ML. However, these
approaches do not provide i) pre/post conditions to handle uncertainty, ii)
defining corrective actions based on probabilistic outcomes, or iii) continual
verification during system operation. In this paper, we propose MLGuard, a new
approach to specify contracts for ML applications. Our approach consists of a)
an ML contract specification defining pre/post conditions, invariants, and
altering behaviours, b) generated validation models to determine the
probability of contract violation, and c) an ML wrapper generator to enforce
the contract and respond to violations. Our work is intended to provide the
overarching framework required for building ML applications and monitoring
their safety.
- Abstract(参考訳): 機械学習(ML)は、金融、医療、交通など、非常に高度に規制された、かつ高度な分野に使われている。
これらのML応用の正しさは、人間の安全と経済的利益にとって重要である。
MLのテストと監視の改善が進められている。
しかし これらのアプローチは
一 不確実性に対処する前又は後条件
二 確率的結果に基づく補正行為の定義、又は
三 システム運転中の継続検証。
本稿では,MLアプリケーションのコントラクトを指定する新しいアプローチであるMLGuardを提案する。
私たちのアプローチは
a) 前/後条件、不変条件及び変更動作を定義するML契約明細書
ロ 契約違反の確率を決定するための検証モデルの作成、及び
c) 契約を強制し,違反に応答するMLラッパー発生装置
私たちの仕事は、MLアプリケーションの構築と安全性の監視に必要な、包括的なフレームワークを提供することを目的としています。
関連論文リスト
- SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。
我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。
本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
論文 参考訳(メタデータ) (2024-10-24T17:14:40Z) - CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。
視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。
本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
論文 参考訳(メタデータ) (2024-09-17T17:14:41Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳(メタデータ) (2024-07-15T23:41:11Z) - Evaluation of Predictive Reliability to Foster Trust in Artificial
Intelligence. A case study in Multiple Sclerosis [0.34473740271026115]
機械学習の失敗のスポッティングは、ML予測を使用して臨床上の決定を下す場合、最重要事項である。
我々は,任意のMLモデルのデプロイメントフェーズで使用可能なシンプルなアプローチを提案し,予測を信頼するか否かを提案する。
本手法は,デプロイメント中のML障害の可能性を見極めることによって,臨床医に効果的な支援を提供することを約束する。
論文 参考訳(メタデータ) (2024-02-27T14:48:07Z) - ML-On-Rails: Safeguarding Machine Learning Models in Software Systems A
Case Study [4.087995998278127]
機械学習モデルを保護するためのプロトコルであるML-On-Railsを紹介する。
ML-On-Railsは、さまざまなMLタスクのための明確に定義されたエンドポイントインターフェースを確立し、MLプロバイダとMLコンシューマ間のコミュニケーションを明確にする。
実世界のMoveReminderアプリケーションのケーススタディを通じてプロトコルを評価する。
論文 参考訳(メタデータ) (2024-01-12T11:27:15Z) - Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。
電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす
安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
論文 参考訳(メタデータ) (2023-08-30T03:29:26Z) - Scaling up Trustless DNN Inference with Zero-Knowledge Proofs [47.42532753464726]
本稿では,MLモデル推論を非インタラクティブに検証する,最初の実用的なImageNet-scale法を提案する。
フル解像度のImageNetモデルに対する有効な推論のZKSNARK証明を初めて提供し、79%のトップ5精度を実現した。
論文 参考訳(メタデータ) (2022-10-17T00:35:38Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳(メタデータ) (2021-06-09T05:56:42Z) - MLDemon: Deployment Monitoring for Machine Learning Systems [10.074466859579571]
ML Deployment Monitoritoring のための新しいアプローチ MLDemon を提案します。
MLDemonはラベル付けされていない機能と少数のオンデマンドラベル付きサンプルを統合して、リアルタイムの見積を生成する。
多様な分布のドリフトとモデルを持つ時間データセットでは、MLDemonは既存のモニタリングアプローチを大幅に上回っている。
論文 参考訳(メタデータ) (2021-04-28T07:59:10Z) - Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。
本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
論文 参考訳(メタデータ) (2020-05-17T22:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。