論文の概要: Security and Machine Learning in the Real World

• arxiv url: http://arxiv.org/abs/2007.07205v1
• Date: Mon, 13 Jul 2020 16:57:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 23:40:54.381404
• Title: Security and Machine Learning in the Real World
• Title（参考訳）: 現実世界におけるセキュリティと機械学習
• Authors: Ivan Evtimov, Weidong Cui, Ece Kamar, Emre Kiciman, Tadayoshi Kohno, Jerry Li
• Abstract要約: 私たちは、大規模にデプロイされた機械学習ソフトウェア製品のセキュリティを評価し、システムのセキュリティビューを含む会話を広げるために、私たちの経験に基づいています。 本稿では,機械学習モジュールをデプロイする実践者がシステムを保護するために使用できる,短期的な緩和提案のリストを提案する。
• 参考スコア（独自算出の注目度）: 33.40597438876848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) models deployed in many safety- and business-critical systems are vulnerable to exploitation through adversarial examples. A large body of academic research has thoroughly explored the causes of these blind spots, developed sophisticated algorithms for finding them, and proposed a few promising defenses. A vast majority of these works, however, study standalone neural network models. In this work, we build on our experience evaluating the security of a machine learning software product deployed on a large scale to broaden the conversation to include a systems security view of these vulnerabilities. We describe novel challenges to implementing systems security best practices in software with ML components. In addition, we propose a list of short-term mitigation suggestions that practitioners deploying machine learning modules can use to secure their systems. Finally, we outline directions for new research into machine learning attacks and defenses that can serve to advance the state of ML systems security.
• Abstract（参考訳）: 多くの安全およびビジネスクリティカルなシステムにデプロイされた機械学習(ML)モデルは、敵の例によるエクスプロイトに対して脆弱である。 多数の学術研究がこれらの盲点の原因を徹底的に調査し、それらを見つけるための高度なアルゴリズムを開発し、いくつかの有望な防御を提案した。 しかし、ほとんどの研究はスタンドアロンのニューラルネットワークモデルを研究している。 本研究では、大規模にデプロイされた機械学習ソフトウェア製品のセキュリティを評価する経験に基づいて、これらの脆弱性のシステムセキュリティビューを含む会話を広げる。 MLコンポーネントを使用したソフトウェアでシステムセキュリティのベストプラクティスを実装する上での新たな課題について述べる。 さらに,機械学習モジュールをデプロイする実践者がシステムを保護するために使用できる,短期的緩和提案のリストを提案する。 最後に、機械学習システムセキュリティの進展に寄与する機械学習攻撃と防御に関する新たな研究の方向性について概説する。

関連論文リスト

• In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [97.82118821263825]
  テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。 ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。 我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-25T04:17:24Z)
• Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
  本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
  論文  参考訳（メタデータ） (2024-02-15T22:01:45Z)
• Security for Machine Learning-based Software Systems: a survey of threats, practices and challenges [0.76146285961466]
  機械学習ベースのモダンソフトウェアシステム(MLBSS)を安全に開発する方法は、依然として大きな課題である。 潜伏中の脆弱性と、外部のユーザーや攻撃者に暴露されるプライバシー問題は、ほとんど無視され、特定が難しい。 機械学習ベースのソフトウェアシステムのセキュリティは、固有のシステム欠陥や外敵攻撃から生じる可能性があると考えている。
  論文  参考訳（メタデータ） (2022-01-12T23:20:25Z)
• Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
  自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。 一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。 我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
  論文  参考訳（メタデータ） (2021-06-09T05:56:42Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Towards a Robust and Trustworthy Machine Learning System Development [0.09236074230806578]
  最新のML信頼性と技術に関する最近の調査をセキュリティエンジニアリングの視点から紹介します。 次に、ML実践者のための標準的かつ視覚化された方法で知識の体を表すメタモデルを記述することによって、調査の前後に研究を進めます。 本稿では,堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2021-01-08T14:43:58Z)
• Robust Machine Learning Systems: Challenges, Current Trends, Perspectives, and the Road Ahead [24.60052335548398]
  機械学習(ML)技術は、スマートサイバーフィジカルシステム(CPS)とIoT(Internet-of-Things)によって急速に採用されています。 ハードウェアとソフトウェアの両方のレベルで、さまざまなセキュリティと信頼性の脅威に脆弱であり、その正確性を損ないます。 本稿では、現代のMLシステムの顕著な脆弱性を要約し、これらの脆弱性に対する防御と緩和技術の成功を強調する。
  論文  参考訳（メタデータ） (2021-01-04T20:06:56Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• Adversarial Machine Learning Attacks and Defense Methods in the Cyber Security Domain [58.30296637276011]
  本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。 サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-07-05T18:22:40Z)
• Adversarial Machine Learning -- Industry Perspectives [6.645585967550316]
  28の組織へのインタビューから、業界実践者は機械学習(ML)システムに対する攻撃を守り、検出し、対応するための戦術的および戦略的なツールを持っていないことがわかった。 従来のソフトウェアセキュリティ開発の文脈で見た場合、私たちはインタビューの洞察を活用し、機械学習システムの確保における視点のギャップを列挙します。
  論文  参考訳（メタデータ） (2020-02-04T02:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。