論文の概要: You Don't Need Robust Machine Learning to Manage Adversarial Attack Risks

• arxiv url: http://arxiv.org/abs/2306.09951v1
• Date: Fri, 16 Jun 2023 16:32:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 13:02:39.538173
• Title: You Don't Need Robust Machine Learning to Manage Adversarial Attack Risks
• Title（参考訳）: 敵の攻撃リスクを管理するにはロバストな機械学習は必要ない
• Authors: Edward Raff, Michel Benaroch, Andrew L. Farris
• Abstract要約: 機械学習モデルを不規則な予測に変換する能力は驚くべきものだ。 現行の緩和には高いコストが伴い、同時にモデルの精度が低下する。 これは、実際にこれらの攻撃を緩和する方法、運用デプロイメントのリスク、そしてそれらのリスクをどのように管理するか、という視点で行われます。
• 参考スコア（独自算出の注目度）: 31.111554739533663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The robustness of modern machine learning (ML) models has become an increasing concern within the community. The ability to subvert a model into making errant predictions using seemingly inconsequential changes to input is startling, as is our lack of success in building models robust to this concern. Existing research shows progress, but current mitigations come with a high cost and simultaneously reduce the model's accuracy. However, such trade-offs may not be necessary when other design choices could subvert the risk. In this survey we review the current literature on attacks and their real-world occurrences, or limited evidence thereof, to critically evaluate the real-world risks of adversarial machine learning (AML) for the average entity. This is done with an eye toward how one would then mitigate these attacks in practice, the risks for production deployment, and how those risks could be managed. In doing so we elucidate that many AML threats do not warrant the cost and trade-offs of robustness due to a low likelihood of attack or availability of superior non-ML mitigations. Our analysis also recommends cases where an actor should be concerned about AML to the degree where robust ML models are necessary for a complete deployment.
• Abstract（参考訳）: 現代の機械学習(ML)モデルの堅牢性は、コミュニティ内で懸念が高まっている。 この懸念に堅牢なモデルを構築することには成功していないため、入力に不連続な変更を施すような誤った予測にモデルを変換できることは驚くべきことです。 既存の研究は進歩を見せているが、現在の緩和はコストが高く、同時にモデルの精度を低下させる。 しかし、そのようなトレードオフは、他の設計選択がリスクを回避できる場合に必要ではないかもしれない。 本調査では、敵機械学習(AML)の現実的リスクを平均的エンティティに対して批判的に評価するため、攻撃とその実世界発生に関する現在の文献を概観する。 これは、実際にこれらの攻撃を緩和する方法、運用デプロイメントのリスク、そしてそれらのリスクをどのように管理するかに注目して行われる。 このような中で、多くのAML脅威は、攻撃の可能性が低く、かつ優れた非ML緩和が可能であるため、ロバスト性のコストとトレードオフを保証しない。 私たちの分析では、アクターがAMLに関心を持つべきケースを、完全なデプロイメントに堅牢なMLモデルが必要である程度に推奨しています。

関連論文リスト

• Detecting and Understanding Vulnerabilities in Language Models via Mechanistic Interpretability [44.99833362998488]
  大規模言語モデル(LLM)は、幅広いタスクで素晴らしいパフォーマンスを示している。 特にLSMは敵攻撃に弱いことが知られており、入力に対する非受容的な変更はモデルの出力を誤解させる可能性がある。 本稿では,メカニスティック・インタプリタビリティ(MI)技術に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T09:55:34Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications [0.0]
  大規模言語モデル(LLM)は、高度な自然言語処理機能を提供することによって、様々なアプリケーションに革命をもたらした。 本稿では,LSMを利用したアプリケーションに適した脅威モデリングとリスク分析について検討する。
  論文  参考訳（メタデータ） (2024-06-16T16:43:58Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Risk and Response in Large Language Models: Evaluating Key Threat Categories [6.436286493151731]
  本稿では,Large Language Models (LLMs) におけるリスクアセスメントのプレッシャーについて考察する。 人為的レッドチームデータセットを利用することで、情報ハザード、悪用、差別/憎しみのあるコンテンツなど、主要なリスクカテゴリを分析します。 以上の結果から,LSMは情報ハザードを有害とみなす傾向があることが示唆された。
  論文  参考訳（メタデータ） (2024-03-22T06:46:40Z)
• Beyond Labeling Oracles: What does it mean to steal ML models? [52.63413852460003]
  モデル抽出攻撃は、クエリアクセスのみで訓練されたモデルを盗むように設計されている。 モデル抽出攻撃の成功に影響を及ぼす要因について検討する。 我々は,ME攻撃の敵の目標を再定義するようコミュニティに促した。
  論文  参考訳（メタデータ） (2023-10-03T11:10:21Z)
• Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
  言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。 これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。 ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
  論文  参考訳（メタデータ） (2023-09-25T17:08:02Z)
• Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of Foundation Models [103.71308117592963]
  本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。 小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
  論文  参考訳（メタデータ） (2022-11-27T21:43:45Z)
• Machine Learning Security against Data Poisoning: Are We There Yet? [23.809841593870757]
  この記事では、機械学習モデル学習に使用されるトレーニングデータを侵害するデータ中毒攻撃についてレビューする。 基本的なセキュリティ原則を用いてこれらの攻撃を緩和するか、あるいはML指向の防御機構をデプロイするかについて議論する。
  論文  参考訳（メタデータ） (2022-04-12T17:52:09Z)
• Adversarial Machine Learning Threat Analysis in Open Radio Access Networks [37.23982660941893]
  Open Radio Access Network (O-RAN) は、新しい、オープンで適応的でインテリジェントなRANアーキテクチャである。 本稿では,O-RANに対する体系的対向機械学習脅威分析を提案する。
  論文  参考訳（メタデータ） (2022-01-16T17:01:38Z)
• ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
  機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。 私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。 私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
  論文  参考訳（メタデータ） (2021-02-04T11:35:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。