論文の概要: You Don't Need Robust Machine Learning to Manage Adversarial Attack
Risks
- arxiv url: http://arxiv.org/abs/2306.09951v1
- Date: Fri, 16 Jun 2023 16:32:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 13:02:39.538173
- Title: You Don't Need Robust Machine Learning to Manage Adversarial Attack
Risks
- Title(参考訳): 敵の攻撃リスクを管理するにはロバストな機械学習は必要ない
- Authors: Edward Raff, Michel Benaroch, Andrew L. Farris
- Abstract要約: 機械学習モデルを不規則な予測に変換する能力は驚くべきものだ。
現行の緩和には高いコストが伴い、同時にモデルの精度が低下する。
これは、実際にこれらの攻撃を緩和する方法、運用デプロイメントのリスク、そしてそれらのリスクをどのように管理するか、という視点で行われます。
- 参考スコア(独自算出の注目度): 31.111554739533663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The robustness of modern machine learning (ML) models has become an
increasing concern within the community. The ability to subvert a model into
making errant predictions using seemingly inconsequential changes to input is
startling, as is our lack of success in building models robust to this concern.
Existing research shows progress, but current mitigations come with a high cost
and simultaneously reduce the model's accuracy. However, such trade-offs may
not be necessary when other design choices could subvert the risk. In this
survey we review the current literature on attacks and their real-world
occurrences, or limited evidence thereof, to critically evaluate the real-world
risks of adversarial machine learning (AML) for the average entity. This is
done with an eye toward how one would then mitigate these attacks in practice,
the risks for production deployment, and how those risks could be managed. In
doing so we elucidate that many AML threats do not warrant the cost and
trade-offs of robustness due to a low likelihood of attack or availability of
superior non-ML mitigations. Our analysis also recommends cases where an actor
should be concerned about AML to the degree where robust ML models are
necessary for a complete deployment.
- Abstract(参考訳): 現代の機械学習(ML)モデルの堅牢性は、コミュニティ内で懸念が高まっている。
この懸念に堅牢なモデルを構築することには成功していないため、入力に不連続な変更を施すような誤った予測にモデルを変換できることは驚くべきことです。
既存の研究は進歩を見せているが、現在の緩和はコストが高く、同時にモデルの精度を低下させる。
しかし、そのようなトレードオフは、他の設計選択がリスクを回避できる場合に必要ではないかもしれない。
本調査では、敵機械学習(AML)の現実的リスクを平均的エンティティに対して批判的に評価するため、攻撃とその実世界発生に関する現在の文献を概観する。
これは、実際にこれらの攻撃を緩和する方法、運用デプロイメントのリスク、そしてそれらのリスクをどのように管理するかに注目して行われる。
このような中で、多くのAML脅威は、攻撃の可能性が低く、かつ優れた非ML緩和が可能であるため、ロバスト性のコストとトレードオフを保証しない。
私たちの分析では、アクターがAMLに関心を持つべきケースを、完全なデプロイメントに堅牢なMLモデルが必要である程度に推奨しています。
関連論文リスト
- On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting
the Risks and Vulnerabilities [50.31806287390321]
ロボットの動作を操作または誤操作することは容易であり、安全上の危険をもたらす。
我々のデータは、即時攻撃で21.2%、知覚攻撃で30.2%の平均的なパフォーマンス劣化を示す。
論文 参考訳(メタデータ) (2024-02-15T22:01:45Z) - Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳(メタデータ) (2024-02-07T21:58:40Z) - Identifying the Risks of LM Agents with an LM-Emulated Sandbox [70.83306884808988]
言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。
これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。
ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
ツールエミュレータと評価器の両方を人体評価によりテストし,ToolEmuで特定されたエラーの68.8%が実世界のエージェントの失敗であることを確認した。
論文 参考訳(メタデータ) (2023-09-25T17:08:02Z) - Selecting Models based on the Risk of Damage Caused by Adversarial
Attacks [2.969705152497174]
規制、法的責任、社会的懸念は、安全およびセキュリティクリティカルなアプリケーションにおけるAIの採用に挑戦する。
重要な懸念の1つは、敵が検出されずにモデル予測を操作することで害を引き起こす可能性があることである。
本稿では,敵攻撃による被害の確率をモデル化し,統計的に推定する手法を提案する。
論文 参考訳(メタデータ) (2023-01-28T10:24:38Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳(メタデータ) (2022-11-27T21:43:45Z) - Distillation to Enhance the Portability of Risk Models Across
Institutions with Large Patient Claims Database [12.452703677540505]
可読性予測モデルのクロスサイト評価によるモデルポータビリティの実現性について検討する。
再帰型ニューラルネットワークを自己注意で拡張し、専門家の特徴とブレンドして、可読性予測モデルを構築する。
実験の結果、ある機関で訓練・試験されたMLモデルの直接適用は、同一施設で訓練・試験されたMLモデルよりも悪い結果が得られた。
論文 参考訳(メタデータ) (2022-07-06T05:26:32Z) - Machine Learning Security against Data Poisoning: Are We There Yet? [23.809841593870757]
この記事では、機械学習モデル学習に使用されるトレーニングデータを侵害するデータ中毒攻撃についてレビューする。
基本的なセキュリティ原則を用いてこれらの攻撃を緩和するか、あるいはML指向の防御機構をデプロイするかについて議論する。
論文 参考訳(メタデータ) (2022-04-12T17:52:09Z) - Adversarial Machine Learning Threat Analysis in Open Radio Access
Networks [37.23982660941893]
Open Radio Access Network (O-RAN) は、新しい、オープンで適応的でインテリジェントなRANアーキテクチャである。
本稿では,O-RANに対する体系的対向機械学習脅威分析を提案する。
論文 参考訳(メタデータ) (2022-01-16T17:01:38Z) - Detecting and Mitigating Test-time Failure Risks via Model-agnostic
Uncertainty Learning [30.86992077157326]
本稿では,すでに訓練済みのブラックボックス分類モデルの失敗リスクと予測的不確かさを推定するための,ポストホックメタラーナーであるリスクアドバイザを紹介する。
リスクアドバイザは、リスクスコアの提供に加えて、不確実性見積を、アレタリックおよびエピステマティックな不確実性コンポーネントに分解する。
ブラックボックス分類モデルおよび実世界および合成データセットのさまざまなファミリーの実験は、リスクアドバイザーがデプロイメント時の障害リスクを確実に予測していることを示している。
論文 参考訳(メタデータ) (2021-09-09T17:23:31Z) - ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine
Learning Models [64.03398193325572]
機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。
私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。
私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
論文 参考訳(メタデータ) (2021-02-04T11:35:13Z) - Adversarial Attacks on Machine Learning Systems for High-Frequency
Trading [55.30403936506338]
逆機械学習の観点から,アルゴリズム取引のバリュエーションモデルについて検討する。
攻撃コストを最小限に抑えるサイズ制約で、このドメインに特有の新たな攻撃を導入する。
本稿では、金融モデルのロバスト性について研究・評価するための分析ツールとして、これらの攻撃がどのように利用できるかについて論じる。
論文 参考訳(メタデータ) (2020-02-21T22:04:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。