論文の概要: Gotcha! This Model Uses My Code! Evaluating Membership Leakage Risks in Code Models

• arxiv url: http://arxiv.org/abs/2310.01166v2
• Date: Tue, 15 Oct 2024 12:58:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:59:35.107049
• Title: Gotcha! This Model Uses My Code! Evaluating Membership Leakage Risks in Code Models
• Title（参考訳）: Gotcha! このモデルは私のコードを使う! コードモデルにおけるメンバシップリークリスクの評価
• Authors: Zhou Yang, Zhipeng Zhao, Chenyu Wang, Jieke Shi, Dongsum Kim, Donggyun Han, David Lo,
• Abstract要約: コードモデルに特化した新しいメンバシップ推論手法であるGotchaを提案する。 我々は,Gotchaが真正率0.95,偽正率0.10でデータメンバーシップを予測できることを示した。 この研究は、コードモデルのプライバシを理解することにより多くの注意を払っている。
• 参考スコア（独自算出の注目度）: 12.214474083372389
• License:
• Abstract: Given large-scale source code datasets available in open-source projects and advanced large language models, recent code models have been proposed to address a series of critical software engineering tasks, such as program repair and code completion. The training data of the code models come from various sources, not only the publicly available source code, e.g., open-source projects on GitHub but also the private data such as the confidential source code from companies, which may contain sensitive information (for example, SSH keys and personal information). As a result, the use of these code models may raise new privacy concerns. In this paper, we focus on a critical yet not well-explored question on using code models: what is the risk of membership information leakage in code models? Membership information leakage refers to the risk that an attacker can infer whether a given data point is included in (i.e., a member of) the training data. To answer this question, we propose Gotcha, a novel membership inference attack method specifically for code models. We investigate the membership leakage risk of code models. Our results reveal a worrying fact that the risk of membership leakage is high: although the previous attack methods are close to random guessing, Gotcha can predict the data membership with a high true positive rate of 0.95 and a low false positive rate of 0.10. We also show that the attacker's knowledge of the victim model (e.g., the model architecture and the pre-training data) impacts the success rate of attacks. Further analysis demonstrates that changing the decoding strategy can mitigate the risk of membership leakage. This study calls for more attention to understanding the privacy of code models and developing more effective countermeasures against such attacks.
• Abstract（参考訳）: オープンソースプロジェクトや高度な大規模言語モデルで利用可能な大規模なソースコードデータセットを考えると、プログラムの修復やコード補完といった重要なソフトウェアエンジニアリングタスクに対処するために、最近のコードモデルが提案されている。 コードモデルのトレーニングデータは、GitHub上の公開ソースコード、例えばオープンソースプロジェクトだけでなく、機密情報(SSHキーや個人情報など)を含む企業からの機密ソースコードなどのプライベートデータなど、さまざまなソースから提供される。 その結果、これらのコードモデルを使用することで、新たなプライバシの懸念が生じる可能性がある。 本稿では、コードモデルの使用に関して、批判的だが十分に調査されていない質問に焦点をあてる。 会員情報漏洩は、あるデータポイントがトレーニングデータに含まれるか否か(すなわち、メンバー)を攻撃者が推測できるリスクを指す。 この問題に対処するために,コードモデルに特化した新しいメンバシップ推論攻撃法であるGotchaを提案する。 コードモデルのメンバシップリークリスクについて検討する。 従来の攻撃手法はランダムな推測に近いが、Gotchaは真正の0.95と偽正の0.10でデータメンバーシップを予測できる。 また,攻撃者の被害者モデル(例えば,モデルアーキテクチャと事前学習データ)に関する知識が,攻撃の成功率に影響を及ぼすことを示す。 さらなる分析は、デコード戦略の変更がメンバーシップリークのリスクを軽減することを示している。 この研究は、コードモデルのプライバシーを理解し、そのような攻撃に対してより効果的な対策を開発することへの注意を喚起する。

関連論文リスト

• A Disguised Wolf Is More Harmful Than a Toothless Tiger: Adaptive Malicious Code Injection Backdoor Attack Leveraging User Behavior as Triggers [15.339528712960021]
  まず,コード生成シナリオにおけるセキュリティ問題に焦点を当てたゲーム理論モデルを提案する。 このフレームワークは、攻撃者が悪意のあるコードモデルを広げてセキュリティ脅威を発生させる可能性のあるシナリオとパターンを概説する。 また、攻撃者がバックドアアタックを使用して悪意のあるコードインジェクションのタイミングを動的に調整できることも初めて指摘した。
  論文  参考訳（メタデータ） (2024-08-19T18:18:04Z)
• Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [66.51005288743153]
  本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。 私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。 我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
  論文  参考訳（メタデータ） (2024-04-22T15:54:53Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Poisoning Programs by Un-Repairing Code: Security Concerns of AI-generated Code [0.9790236766474201]
  脆弱性コードの生成につながる新たなデータ中毒攻撃を特定します。 次に、これらの攻撃がコード生成の最先端モデルにどのように影響するかを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-03-11T12:47:04Z)
• Vulnerabilities in AI Code Generators: Exploring Targeted Data Poisoning Attacks [9.386731514208149]
  本研究では、AIコードジェネレータのセキュリティを、ターゲットとするデータ中毒戦略を考案することによって調査する。 セキュリティ脆弱性を含むコードの量を増やしてトレーニングデータを汚染します。 私たちの研究は、AIコードジェネレータが少量の毒にも弱いことを示しています。
  論文  参考訳（メタデータ） (2023-08-04T15:23:30Z)
• PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
  プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。 次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
  論文  参考訳（メタデータ） (2023-03-31T18:03:53Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• TrojanPuzzle: Covertly Poisoning Code-Suggestion Models [27.418320728203387]
  ドクストリングなどの文脈外領域に悪意のある毒データを植え付けることで静的解析を回避できる2つの攻撃を示す。 我々の最も新しい攻撃であるTROJANPUZLEは、ペイロードの特定の部分(目立たしい)を毒データに明示的に含めないことによって、不審な毒データを生成するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2023-01-06T00:37:25Z)
• MOVE: Effective and Harmless Ownership Verification via Embedded External Features [109.19238806106426]
  本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。 我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。 特に、包括的モデル保護を提供するために、ホワイトボックスとブラックボックスの両方の設定でMOVE法を開発した。
  論文  参考訳（メタデータ） (2022-08-04T02:22:29Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。