論文の概要: Adversarial for Good? How the Adversarial ML Community's Values Impede
Socially Beneficial Uses of Attacks
- arxiv url: http://arxiv.org/abs/2107.10302v1
- Date: Sun, 11 Jul 2021 13:51:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-25 13:31:47.379815
- Title: Adversarial for Good? How the Adversarial ML Community's Values Impede
Socially Beneficial Uses of Attacks
- Title（参考訳）: 善は逆か?
対人MLコミュニティの価値が社会的に有利な攻撃にどのように影響するか
- Authors: Kendra Albert, Maggie Delano, Bogdan Kulynych, Ram Shankar Siva Kumar
- Abstract要約: 対人機械学習(ML)攻撃は「善のために」使われる可能性がある
しかし、敵対的MLに関する研究の多くは、MLシステムに対する抵抗ツールの開発に関わっていない。
- 参考スコア（独自算出の注目度）: 1.2664869982542892
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attacks from adversarial machine learning (ML) have the potential to be used
"for good": they can be used to run counter to the existing power structures
within ML, creating breathing space for those who would otherwise be the
targets of surveillance and control. But most research on adversarial ML has
not engaged in developing tools for resistance against ML systems. Why? In this
paper, we review the broader impact statements that adversarial ML researchers
wrote as part of their NeurIPS 2020 papers and assess the assumptions that
authors have about the goals of their work. We also collect information about
how authors view their work's impact more generally. We find that most
adversarial ML researchers at NeurIPS hold two fundamental assumptions that
will make it difficult for them to consider socially beneficial uses of
attacks: (1) it is desirable to make systems robust, independent of context,
and (2) attackers of systems are normatively bad and defenders of systems are
normatively good. That is, despite their expressed and supposed neutrality,
most adversarial ML researchers believe that the goal of their work is to
secure systems, making it difficult to conceptualize and build tools for
disrupting the status quo.
- Abstract（参考訳）: 敵機械学習(ML)からの攻撃は、ML内の既存の電力構造に対抗するために使用することができ、監視と制御の標的となる人々のための呼吸スペースを作ることができる。
しかし、敵対的MLに関する研究の多くは、MLシステムに対する抵抗ツールの開発に関わっていない。
なぜだ?
本稿では,敵ml研究者がneurips 2020論文の一部として書いた幅広いインパクトステートメントをレビューし,著者が仕事の目的について持っている仮定を評価する。
また、著者が作品の影響をより一般的に見る方法に関する情報も収集しています。
我々は、NeurIPSのほとんどの敵対的ML研究者が、社会的に有益な攻撃の活用を検討するのが困難になる2つの基本的な仮定を持っていることを発見した:(1)システムを堅牢にすることが望ましいこと、(2)システムの攻撃者は規範的に悪いこと、そして、システムのディフェンダーは規範的に良いこと。
つまり、その表現と中立性にもかかわらず、ほとんどの対立するML研究者は、彼らの仕事の目標はシステムを保護することであり、現状を破壊するためのツールを概念化し構築することが困難であると考えている。
関連論文リスト
- ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。
脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
論文 参考訳（メタデータ） (2024-04-06T15:01:47Z) - Cognitive Overload: Jailbreaking Large Language Models with Overloaded
Logical Thinking [60.78524314357671]
本研究では,大規模言語モデル(LLM)の認知的構造とプロセスをターゲットにした新しいジェイルブレイク攻撃のカテゴリについて検討する。
提案する認知的オーバーロードはブラックボックス攻撃であり、モデルアーキテクチャやモデルウェイトへのアクセスの知識は不要である。
AdvBenchとMasterKeyで実施された実験では、人気のあるオープンソースモデルであるLlama 2とプロプライエタリモデルであるChatGPTの両方を含む様々なLLMが、認知的オーバーロードによって妥協可能であることが明らかになった。
論文 参考訳（メタデータ） (2023-11-16T11:52:22Z) - Adversarial Machine Learning for Social Good: Reframing the Adversary as
an Ally [50.92232179802755]
AdvML for Social Good(AdvML4G)は、AdvMLバグを再利用して、プロ社会的なアプリケーションを発明する新興分野である。
本稿では,AdvML4Gの新興分野を包括的に概観する。
論文 参考訳（メタデータ） (2023-10-05T15:49:04Z) - Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。
電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす
安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
論文 参考訳（メタデータ） (2023-08-30T03:29:26Z) - "Real Attackers Don't Compute Gradients": Bridging the Gap Between
Adversarial ML Research and Practice [10.814642396601139]
研究者と実践者の間に明らかなギャップがあることから,本論文は2つの領域を橋渡しすることを目的としている。
まず実世界のケーススタディを3つのケーススタディで提示し、そのケーススタディから、未知の、あるいは無視された実用的な洞察を導き出すことができる。
次に、トップセキュリティカンファレンスで最近公開されたすべての敵対的ML論文を分析し、ポジティブなトレンドと盲点を強調します。
論文 参考訳（メタデータ） (2022-12-29T14:11:07Z) - Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。
既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。
以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
論文 参考訳（メタデータ） (2022-07-20T19:49:09Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳（メタデータ） (2021-04-29T09:54:54Z) - Legal Risks of Adversarial Machine Learning Research [0.7837881800517111]
我々は,いかなる運用システムのセキュリティについても,コンピュータ不正使用防止法(CFAA, Computer Fraud and Abuse Act)を施行する可能性があることを示す。
我々の分析では、CFAAの解釈方法に違いがあるため、敵ML攻撃の側面はいくつかの管轄区域で認可され、他の領域では罰せられません。
我々は、裁判所がCFAAの狭い構成を採用する可能性があり、これが長期的には敵のMLセキュリティのより良い結果をもたらすと論じている。
論文 参考訳（メタデータ） (2020-06-29T16:45:15Z) - Adversarial Machine Learning: Bayesian Perspectives [0.4915744683251149]
Adversarial Machine Learning (AML)は、機械学習(ML)システムをセキュリティ上の脅威から保護することを目的とした、主要な分野として浮上している。
あるシナリオでは、愚かな学習システムに入力データを積極的に操作する敵が存在するかもしれません。
これにより、MLシステムが直面する可能性のある、新たなセキュリティ脆弱性のクラスと、信頼性操作に不可欠な敵の堅牢性と呼ばれる、新たな望ましいプロパティが生成される。
論文 参考訳（メタデータ） (2020-03-07T10:30:43Z) - Politics of Adversarial Machine Learning [0.7837881800517111]
敵の機械学習攻撃と防衛には政治的側面がある。
機械学習システムの主題とそれらをデプロイする人たちの両方に対して、特定のオプションを有効または前置する。
本稿では、敵攻撃に対する防御が、反抗を抑え、機械学習システムの調査を制限するためにどのように使用できるかを示す。
論文 参考訳（メタデータ） (2020-02-01T01:15:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。