論文の概要: Adversarial Machine Learning: Bayesian Perspectives
- arxiv url: http://arxiv.org/abs/2003.03546v2
- Date: Thu, 22 Feb 2024 14:32:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 19:34:48.591320
- Title: Adversarial Machine Learning: Bayesian Perspectives
- Title(参考訳): 敵対的機械学習:ベイズ的視点
- Authors: David Rios Insua, Roi Naveiro, Victor Gallego, Jason Poulos
- Abstract要約: Adversarial Machine Learning (AML)は、機械学習(ML)システムをセキュリティ上の脅威から保護することを目的とした、主要な分野として浮上している。
あるシナリオでは、愚かな学習システムに入力データを積極的に操作する敵が存在するかもしれません。
これにより、MLシステムが直面する可能性のある、新たなセキュリティ脆弱性のクラスと、信頼性操作に不可欠な敵の堅牢性と呼ばれる、新たな望ましいプロパティが生成される。
- 参考スコア(独自算出の注目度): 0.4915744683251149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial Machine Learning (AML) is emerging as a major field aimed at
protecting machine learning (ML) systems against security threats: in certain
scenarios there may be adversaries that actively manipulate input data to fool
learning systems. This creates a new class of security vulnerabilities that ML
systems may face, and a new desirable property called adversarial robustness
essential to trust operations based on ML outputs. Most work in AML is built
upon a game-theoretic modelling of the conflict between a learning system and
an adversary, ready to manipulate input data. This assumes that each agent
knows their opponent's interests and uncertainty judgments, facilitating
inferences based on Nash equilibria. However, such common knowledge assumption
is not realistic in the security scenarios typical of AML. After reviewing such
game-theoretic approaches, we discuss the benefits that Bayesian perspectives
provide when defending ML-based systems. We demonstrate how the Bayesian
approach allows us to explicitly model our uncertainty about the opponent's
beliefs and interests, relaxing unrealistic assumptions, and providing more
robust inferences. We illustrate this approach in supervised learning settings,
and identify relevant future research problems.
- Abstract(参考訳): Adversarial Machine Learning (AML)は、機械学習(ML)システムをセキュリティ上の脅威から保護することを目的とした、主要な分野として浮上している。
これにより、MLシステムが直面する可能性のある、新たなセキュリティ脆弱性のクラスが生成され、ML出力に基づいた操作の信頼性に不可欠な、敵対的堅牢性と呼ばれる、新たな望ましいプロパティが生成される。
AMLにおけるほとんどの研究は、学習システムと敵との対立をゲーム理論でモデル化し、入力データを操作する準備ができている。
これは、各エージェントが相手の関心と不確実性判断を知っていて、ナッシュ均衡に基づく推論を促進すると仮定している。
しかし、このような共通知識仮定はAMLの典型的なセキュリティシナリオでは現実的ではない。
このようなゲーム理論的アプローチをレビューした後、MLベースのシステムを守る際にベイズ的視点がもたらすメリットについて議論する。
ベイズ的アプローチは、相手の信念や関心に対する不確実性を明示的にモデル化し、非現実的な仮定を緩和し、より堅牢な推論を提供する。
このアプローチを教師あり学習環境で説明し,今後の研究課題を明らかにする。
関連論文リスト
- Detecting and Understanding Vulnerabilities in Language Models via Mechanistic Interpretability [44.99833362998488]
大規模言語モデル(LLM)は、幅広いタスクで素晴らしいパフォーマンスを示している。
特にLSMは敵攻撃に弱いことが知られており、入力に対する非受容的な変更はモデルの出力を誤解させる可能性がある。
本稿では,メカニスティック・インタプリタビリティ(MI)技術に基づく手法を提案する。
論文 参考訳(メタデータ) (2024-07-29T09:55:34Z) - Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
大規模言語モデル(LLM)の領域における機械学習の研究
このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
論文 参考訳(メタデータ) (2024-02-13T20:51:58Z) - Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。
電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす
安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
論文 参考訳(メタデータ) (2023-08-30T03:29:26Z) - Attacks in Adversarial Machine Learning: A Systematic Survey from the
Life-cycle Perspective [69.25513235556635]
敵対的機械学習(英: Adversarial Machine Learning、AML)は、機械学習の逆行現象を研究する。
機械学習システムの異なる段階で発生するこの敵対現象を探求するために、いくつかのパラダイムが最近開発された。
既存の攻撃パラダイムをカバーするための統一的な数学的枠組みを提案する。
論文 参考訳(メタデータ) (2023-02-19T02:12:21Z) - Conflicting Interactions Among Protections Mechanisms for Machine
Learning Models [15.047412609389983]
MLモデルは様々な攻撃の標的となっている。
セキュリティとプライバシの交差点における研究、そしてMLは繁栄している。
特定の関心事に最適な解は、他の関心事に対処しようとする解と負に相互作用することがある。
論文 参考訳(メタデータ) (2022-07-05T12:18:06Z) - Threat Assessment in Machine Learning based Systems [12.031113181911627]
我々は機械学習に基づくシステムに対して報告された脅威を実証研究する。
この研究は、MITREのATLASデータベース、AIインシデントデータベース、および文学からの89の現実世界のML攻撃シナリオに基づいている。
その結果,畳み込みニューラルネットワークは攻撃シナリオの中でも最も標的となるモデルの一つであることがわかった。
論文 参考訳(メタデータ) (2022-06-30T20:19:50Z) - SoK: Machine Learning Governance [16.36671448193025]
このような利益とリスクのバランスをとるため、MLガバナンスの概念を開発します。
私たちは、MLシステムの障害の原因となるプリンシパルを保持するためにアイデンティティを使用します。
私たちは、モデルオーナーがシステムのライフサイクルを管理することができる技術の必要性を強調します。
論文 参考訳(メタデータ) (2021-09-20T17:56:22Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳(メタデータ) (2021-04-29T09:54:54Z) - ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine
Learning Models [64.03398193325572]
機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。
私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。
私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
論文 参考訳(メタデータ) (2021-02-04T11:35:13Z) - Adversarial Attacks on Machine Learning Systems for High-Frequency
Trading [55.30403936506338]
逆機械学習の観点から,アルゴリズム取引のバリュエーションモデルについて検討する。
攻撃コストを最小限に抑えるサイズ制約で、このドメインに特有の新たな攻撃を導入する。
本稿では、金融モデルのロバスト性について研究・評価するための分析ツールとして、これらの攻撃がどのように利用できるかについて論じる。
論文 参考訳(メタデータ) (2020-02-21T22:04:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。