論文の概要: On managing vulnerabilities in AI/ML systems

• arxiv url: http://arxiv.org/abs/2101.10865v1
• Date: Fri, 22 Jan 2021 21:59:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-03-20 17:27:47.391795
• Title: On managing vulnerabilities in AI/ML systems
• Title（参考訳）: AI/MLシステムの脆弱性管理について
• Authors: Jonathan M. Spring and April Galyardt and Allen D. Householder and Nathan VanHoudnos
• Abstract要約: 本稿では,現在の脆弱性管理パラダイムが機械学習システムにどのように適応するかを検討する。 仮説上のシナリオは、発見、報告、分析、調整、開示、応答という6つの脆弱性管理領域の変更を検討することを中心に構成されている。
• 参考スコア（独自算出の注目度）: 1.6058099298620423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores how the current paradigm of vulnerability management might adapt to include machine learning systems through a thought experiment: what if flaws in machine learning (ML) were assigned Common Vulnerabilities and Exposures (CVE) identifiers (CVE-IDs)? We consider both ML algorithms and model objects. The hypothetical scenario is structured around exploring the changes to the six areas of vulnerability management: discovery, report intake, analysis, coordination, disclosure, and response. While algorithm flaws are well-known in the academic research community, there is no apparent clear line of communication between this research community and the operational communities that deploy and manage systems that use ML. The thought experiments identify some ways in which CVE-IDs may establish some useful lines of communication between these two communities. In particular, it would start to introduce the research community to operational security concepts, which appears to be a gap left by existing efforts.
• Abstract（参考訳）: 機械学習(ML)の欠陥が共通脆弱性・露出(CVE)識別子(CVE-ID)に割り当てられた場合はどうか。 MLアルゴリズムとモデルオブジェクトの両方を考慮する。 仮説上のシナリオは、発見、報告、分析、調整、開示、応答という6つの脆弱性管理領域の変更を検討することを中心に構成されている。 アルゴリズムの欠陥は学術研究コミュニティでよく知られていますが、この研究コミュニティとMLを使用するシステムのデプロイと管理を行う運用コミュニティとの間には明確なコミュニケーション線はありません。 思考実験により,CVE-IDがこれらの2つのコミュニティ間のコミュニケーションに有用な線を確立する方法が明らかになった。 特に、既存の取り組みで残されたギャップのように見える運用上のセキュリティ概念に研究コミュニティを導入し始める。

関連論文リスト

• How Do Communities of ML-Enabled Systems Smell? A Cross-Sectional Study on the Prevalence of Community Smells [13.840177755312665]
  NICHEデータセットからの188個のレポジトリについて,CADOCSツールを用いて実験を行った。 プリマ・ドナ・エフェクトやシェア・ヴィラニーのような特定の匂いは、ラジオ・サイレンスやオーガナイゼーション・スキルミッシュなどと比べて、時間とともに広まり、変動することがわかった。
  論文  参考訳（メタデータ） (2025-04-24T10:23:37Z)
• Boost, Disentangle, and Customize: A Robust System2-to-System1 Pipeline for Code Generation [58.799397354312596]
  大規模言語モデル(LLM)は、様々な領域、特にシステム1タスクにおいて顕著な機能を示した。 System2-to-System1法に関する最近の研究が急増し、推論時間計算によるシステム2の推論知識が探索された。 本稿では,システム2タスクの代表的タスクであるコード生成に注目し,主な課題を2つ挙げる。
  論文  参考訳（メタデータ） (2025-02-18T03:20:50Z)
• LLMs in Software Security: A Survey of Vulnerability Detection Techniques and Insights [12.424610893030353]
  大規模言語モデル(LLM)は、ソフトウェア脆弱性検出のためのトランスフォーメーションツールとして登場している。 本稿では,脆弱性検出におけるLSMの詳細な調査を行う。 言語間の脆弱性検出、マルチモーダルデータ統合、リポジトリレベルの分析といった課題に対処する。
  論文  参考訳（メタデータ） (2025-02-10T21:33:38Z)
• Survey on AI-Generated Media Detection: From Non-MLLM to MLLM [51.91311158085973]
  AI生成メディアを検出する方法は急速に進化してきた。 MLLMに基づく汎用検出器は、信頼性検証、説明可能性、ローカライゼーション機能を統合する。 倫理的・セキュリティ的な配慮が、重要な世界的な懸念として浮上している。
  論文  参考訳（メタデータ） (2025-02-07T12:18:20Z)
• In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [97.82118821263825]
  テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。 ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。 我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-25T04:17:24Z)
• Towards Effectively Detecting and Explaining Vulnerabilities Using Large Language Models [17.96542494363619]
  大規模言語モデル(LLM)は、複雑なコンテキストを解釈する際、顕著な能力を示した。 本稿では,脆弱性の検出と説明の両面において,LSMの能力について検討する。 脆弱性説明のための特別な微調整の下で、LLMVulExpはコードの脆弱性の種類を検出するだけでなく、コードコンテキストを分析して原因、場所、修正提案を生成する。
  論文  参考訳（メタデータ） (2024-06-14T04:01:25Z)
• CANEDERLI: On The Impact of Adversarial Training and Transferability on CAN Intrusion Detection Systems [17.351539765989433]
  車両と外部ネットワークの統合が拡大し、コントロールエリアネットワーク(CAN)の内部バスをターゲットにした攻撃が急増した。 対策として,様々な侵入検知システム(IDS)が文献で提案されている。 これらのシステムのほとんどは、機械学習(ML)やディープラーニング(DL)モデルのような、データ駆動のアプローチに依存しています。 本稿では,CANベースのIDSをセキュアにするための新しいフレームワークであるCANEDERLIを提案する。
  論文  参考訳（メタデータ） (2024-04-06T14:54:11Z)
• Zero-Knowledge Proof-based Verifiable Decentralized Machine Learning in Communication Network: A Comprehensive Survey [31.111210313340454]
  マシンラーニングに対する分散型アプローチは、信頼性と妥当性に関する課題を導入します。 我々はZKP-VML(Zero-Knowledge Proof-based Verifiable Machine Learning)の総合的なレビューを行う。
  論文  参考訳（メタデータ） (2023-10-23T12:15:23Z)
• A Survey on Automated Software Vulnerability Detection Using Machine Learning and Deep Learning [19.163031235081565]
  近年、ソースコードの脆弱性を検出する機械学習(ML)とディープラーニング(DL)ベースのモデルが提示されている。 既存の研究のギャップを見つけることは困難であり、総合的な調査をせずに将来の改善の可能性を見出すのは難しいかもしれない。 この作業は、ML/DLベースのソースコードレベルソフトウェア脆弱性検出アプローチの様々な特徴を特徴付けるための体系的な調査を提示することで、そのギャップに対処する。
  論文  参考訳（メタデータ） (2023-06-20T16:51:59Z)
• Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
  我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。 本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:47:52Z)
• Learned Systems Security [30.39158287782567]
  学習システムは内部で機械学習(ML)を使用してパフォーマンスを向上させる。 このようなシステムは、いくつかの敵対的ML攻撃に対して脆弱であることが期待できる。 MLの使用に起因した脆弱性を識別するフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-12-20T15:09:30Z)
• Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
  自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。 一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。 我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
  論文  参考訳（メタデータ） (2021-06-09T05:56:42Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• A game-theoretic analysis of networked system control for common-pool resource management using multi-agent reinforcement learning [54.55119659523629]
  マルチエージェント強化学習は近年,ネットワーク型システム制御へのアプローチとして大きな可能性を秘めている。 共通プールの資源は耕作可能な土地、淡水、湿地、野生生物、魚類資源、森林、大気である。
  論文  参考訳（メタデータ） (2020-10-15T14:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。