論文の概要: Mental Models of Adversarial Machine Learning
- arxiv url: http://arxiv.org/abs/2105.03726v1
- Date: Sat, 8 May 2021 16:05:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 14:42:24.500322
- Title: Mental Models of Adversarial Machine Learning
- Title（参考訳）: 敵対的機械学習のメンタルモデル
- Authors: Lukas Bieringer, Kathrin Grosse, Michael Backes, Katharina Krombholz
- Abstract要約: この研究は、機械学習パイプラインの開発者のメンタルモデルと潜在的に脆弱なコンポーネントに焦点を当てている。
第1の範囲は、敵機械学習(AML)と古典的セキュリティの相互関係に関するものである。
第2の範囲は構造および機能部品を記述します。
第3の範囲は、アプリケーションによっても対応する被験者の教育的背景によっても説明されない精神モデルの個々のバリエーションを表します。
- 参考スコア（独自算出の注目度）: 30.22063282799384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although machine learning (ML) is widely used in practice, little is known
about practitioners' actual understanding of potential security challenges. In
this work, we close this substantial gap in the literature and contribute a
qualitative study focusing on developers' mental models of the ML pipeline and
potentially vulnerable components. Studying mental models has helped in other
security fields to discover root causes or improve risk communication. Our
study reveals four characteristic ranges in mental models of industrial
practitioners. The first range concerns the intertwined relationship of
adversarial machine learning (AML) and classical security. The second range
describes structural and functional components. The third range expresses
individual variations of mental models, which are neither explained by the
application nor by the educational background of the corresponding subjects.
The fourth range corresponds to the varying levels of technical depth, which
are however not determined by our subjects' level of knowledge. Our
characteristic ranges have implications for the integration of AML into
corporate workflows, security enhancing tools for practitioners, and creating
appropriate regulatory frameworks for AML.
- Abstract（参考訳）: 機械学習(ml)は実際に広く使われているが、潜在的なセキュリティ上の課題に対する実践者の実際の理解についてはほとんど知られていない。
この研究は、文献におけるこの実質的なギャップを埋め、MLパイプラインの開発者のメンタルモデルと潜在的に脆弱なコンポーネントに焦点を当てた質的研究に貢献します。
メンタルモデルの研究は、他のセキュリティ分野における根本原因の発見やリスクコミュニケーションの改善に役立っている。
本研究は,産業実践者の精神モデルにおける4つの特徴を明らかにした。
最初の範囲は、敵機械学習(AML)と古典的セキュリティの相互関係に関するものである。
第2の範囲は、構造的および機能的コンポーネントを記述する。
第3の範囲は、個々のメンタルモデルのバリエーションを表しており、アプリケーションによっても、対応する被験者の教育的背景によっても説明されない。
第4の範囲は、技術奥行きの異なるレベルに対応するが、被験者の知識レベルによっては決定されない。
我々の特徴は、企業ワークフローへのAMLの統合、実践者のためのセキュリティ強化ツール、AMLの適切な規制フレームワークの作成に影響を及ぼす。
関連論文リスト
- When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge? [15.318301783084681]
大規模言語モデル(LLM)は、トレーニング中に機密情報や有害なコンテンツを不注意に学習し、保持することができる。
本稿では,RAG(Retrieval-Augmented Generation)技術に基づく軽量なアンラーニングフレームワークを提案する。
われわれはChatGPT, Gemini, Llama-2-7b-chat-hf, PaLM 2 など,オープンソースおよびクローズドソースモデルの広範な実験を通じてフレームワークを評価する。
論文 参考訳（メタデータ） (2024-10-20T03:51:01Z) - Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。
我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。
デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文 参考訳（メタデータ） (2024-08-17T11:49:53Z) - Machine Learning Robustness: A Primer [12.426425119438846]
この議論はロバストネスの詳細な定義から始まり、MLモデルが様々な環境条件と予期せぬ環境条件で安定した性能を維持する能力であることを示している。
この章では、データバイアスやモデル複雑性、未特定のMLパイプラインの落とし穴など、堅牢性を阻害する要因について詳しく説明している。
議論は、デバイアスや拡張といったデータ中心のアプローチから始まる、堅牢性を促進するための改善戦略を探求する。
論文 参考訳（メタデータ） (2024-04-01T03:49:42Z) - An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。
本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。
ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
論文 参考訳（メタデータ） (2024-03-30T08:42:10Z) - Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
大規模言語モデル(LLM)の領域における機械学習の研究
このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
論文 参考訳（メタデータ） (2024-02-13T20:51:58Z) - Ocassionally Secure: A Comparative Analysis of Code Generation
Assistants [8.573156248244695]
本稿では,LLMを効果的かつ安全に展開できる状況と状況を特定し,理解することに焦点を当てる。
Google の ChatGPT と Bard と Gemini を用いた 4 つの高度な LLM--GPT-3.5 と GPT-4 の比較分析を行い,各モデルのコード生成能力を評価した。
61のコードアウトプットを収集し、機能、セキュリティ、パフォーマンス、複雑さ、信頼性など、さまざまな側面で分析しました。
論文 参考訳（メタデータ） (2024-02-01T15:49:47Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳（メタデータ） (2023-11-14T21:46:27Z) - Identifying Concerns When Specifying Machine Learning-Enabled Systems: A
Perspective-Based Approach [1.2184324428571227]
PerSpecMLは、ML対応システムを指定するためのパースペクティブベースのアプローチである。
MLや非MLコンポーネントを含むどの属性がシステム全体の品質に寄与するかを、実践者が特定するのに役立つ。
論文 参考訳（メタデータ） (2023-09-14T18:31:16Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳（メタデータ） (2021-08-17T17:44:38Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳（メタデータ） (2021-04-29T09:54:54Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。