論文の概要: A Survey on Adversarial Machine Learning for Code Data: Realistic Threats, Countermeasures, and Interpretations

• arxiv url: http://arxiv.org/abs/2411.07597v1
• Date: Tue, 12 Nov 2024 07:16:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:19:49.161965
• Title: A Survey on Adversarial Machine Learning for Code Data: Realistic Threats, Countermeasures, and Interpretations
• Title（参考訳）: コードデータの敵対的機械学習に関する調査--現実的脅威, 対策, 解釈
• Authors: Yulong Yang, Haoran Fan, Chenhao Lin, Qian Li, Zhengyu Zhao, Chao Shen, Xiaohong Guan,
• Abstract要約: コード言語モデル(CLM)は、ソースコードの理解と生成において大きな進歩を遂げました。 現実的なシナリオでは、CLMは潜在的に悪意のある敵に晒され、CLMシステムの機密性、完全性、可用性にリスクをもたらす。 これらのリスクにもかかわらず、非常に敵対的な環境におけるCLMのセキュリティ脆弱性の包括的分析は欠如している。
• 参考スコア（独自算出の注目度）: 21.855757118482995
• License:
• Abstract: Code Language Models (CLMs) have achieved tremendous progress in source code understanding and generation, leading to a significant increase in research interests focused on applying CLMs to real-world software engineering tasks in recent years. However, in realistic scenarios, CLMs are exposed to potential malicious adversaries, bringing risks to the confidentiality, integrity, and availability of CLM systems. Despite these risks, a comprehensive analysis of the security vulnerabilities of CLMs in the extremely adversarial environment has been lacking. To close this research gap, we categorize existing attack techniques into three types based on the CIA triad: poisoning attacks (integrity \& availability infringement), evasion attacks (integrity infringement), and privacy attacks (confidentiality infringement). We have collected so far the most comprehensive (79) papers related to adversarial machine learning for CLM from the research fields of artificial intelligence, computer security, and software engineering. Our analysis covers each type of risk, examining threat model categorization, attack techniques, and countermeasures, while also introducing novel perspectives on eXplainable AI (XAI) and exploring the interconnections between different risks. Finally, we identify current challenges and future research opportunities. This study aims to provide a comprehensive roadmap for both researchers and practitioners and pave the way towards more reliable CLMs for practical applications.
• Abstract（参考訳）: コード言語モデル(CLM)は、ソースコードの理解と生成において大きな進歩を遂げており、近年、CLMを現実世界のソフトウェアエンジニアリングタスクに適用することに焦点を当てた研究の関心が高まっている。 しかし現実的なシナリオでは、CLMは潜在的に悪意のある敵に晒され、CLMシステムの機密性、完全性、可用性にリスクをもたらす。 これらのリスクにもかかわらず、非常に敵対的な環境におけるCLMのセキュリティ脆弱性の包括的分析は欠如している。 この研究ギャップを埋めるために、我々は既存の攻撃テクニックを、CIAのトリアドに基づく3つのタイプに分類する: 中毒攻撃(統合性および可用性侵害)、回避攻撃(統合性侵害)、プライバシー攻撃(機密性侵害)。 我々は、人工知能、コンピュータセキュリティ、ソフトウェア工学の研究分野から、CLMの敵機械学習に関する最も包括的な79の論文を収集した。 分析では、リスクの種類、脅威モデルの分類、攻撃手法、対策、さらにはeXplainable AI(XAI)に関する新たな視点を導入し、異なるリスク間の相互接続を探索する。 最後に,現在の課題と今後の研究機会を明らかにする。 本研究の目的は、研究者と実践者の両方に包括的なロードマップを提供することであり、実用的な応用のためのより信頼性の高いCLMへの道を開くことである。

関連論文リスト

• AI Safety in Generative AI Large Language Models: A Survey [14.737084887928408]
  生成的AI能力を示す大規模言語モデル(LLM)は、採用とイノベーションの加速に直面している。 生成AI(GAI)は、これらのモデルに関連するリスクと安全性に関する懸念を必然的に高める。 本稿では,コンピュータ科学者の視点からAI安全研究の最新の動向について報告する。
  論文  参考訳（メタデータ） (2024-07-06T09:00:18Z)
• Generative AI and Large Language Models for Cyber Security: All Insights You Need [0.06597195879147556]
  本稿では,ジェネレーティブAIとLarge Language Models(LLMs)によるサイバーセキュリティの将来を概観する。 ハードウェア設計のセキュリティ、侵入検知、ソフトウェアエンジニアリング、設計検証、サイバー脅威インテリジェンス、マルウェア検出、フィッシング検出など、さまざまな領域にわたるLCMアプリケーションを探索する。 GPT-4, GPT-3.5, Mixtral-8x7B, BERT, Falcon2, LLaMA などのモデルの発展に焦点を当て, LLM の進化とその現状について概説する。
  論文  参考訳（メタデータ） (2024-05-21T13:02:27Z)
• Large Language Models for Cyber Security: A Systematic Literature Review [14.924782327303765]
  サイバーセキュリティ(LLM4Security)における大規模言語モデルの適用に関する文献の総合的なレビューを行う。 LLMは、脆弱性検出、マルウェア分析、ネットワーク侵入検出、フィッシング検出など、幅広いサイバーセキュリティタスクに応用されている。 第3に、細調整、転送学習、ドメイン固有の事前トレーニングなど、特定のサイバーセキュリティドメインにLLMを適用するための有望なテクニックをいくつか特定する。
  論文  参考訳（メタデータ） (2024-05-08T02:09:17Z)
• Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
  本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 3つの主要株主グループに対する脅威もマップ化しています。
  論文  参考訳（メタデータ） (2024-03-20T05:17:22Z)
• The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning [87.1610740406279]
  ホワイトハウス人工知能に関する大統領令は、生物、サイバー、化学兵器の開発において悪意あるアクターに力を与える大きな言語モデル(LLM)のリスクを強調している。 現在の評価は非公開であり、リスク軽減のさらなる研究を妨げている。 Weapons of Mass Destruction Proxyベンチマークを公開しています。
  論文  参考訳（メタデータ） (2024-03-05T18:59:35Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• Large Language Models in Cybersecurity: State-of-the-Art [4.990712773805833]
  大規模言語モデル(LLM)の台頭は、私たちの知性の理解に革命をもたらした。 本研究は, サイバーセキュリティの領域におけるLLMの防衛的, 敵的応用の徹底的な評価を, 既存の文献を考察した。
  論文  参考訳（メタデータ） (2024-01-30T16:55:25Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• Adversarial Machine Learning Attacks and Defense Methods in the Cyber Security Domain [58.30296637276011]
  本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。 サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-07-05T18:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。