論文の概要: Probing Privacy Leaks in LLM-based Code Generation via Test Generation
- arxiv url: http://arxiv.org/abs/2605.15248v1
- Date: Thu, 14 May 2026 12:16:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 17:44:16.264333
- Title: Probing Privacy Leaks in LLM-based Code Generation via Test Generation
- Title(参考訳): テスト生成によるLLMコード生成におけるプライバシリークの探索
- Abstract要約: 本稿では,実用的なプライバシ関連コード生成シナリオをシミュレートするパイプラインを提案する。
手動プロンプトエンジニアリングを代替する,自動構築のプライバシ機能ライブラリを導入する。
私たちのパイプラインは、より確認されたプライバシリークを公開し、既存のベースラインに比べて検出されたリークを2.56倍増加させる。
- 参考スコア(独自算出の注目度): 31.636326047858244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread availability of large-scale code datasets has fueled the rapid development of large language models (LLMs) for code-related tasks. These datasets may include sensitive personally identifiable information (PII), which can lead to privacy leakage when LLMs memorize and reproduce it. However, existing privacy-leakage detection methods rely on ad-hoc prompt construction (manually or automatically designed). Therefore, they do not adequately approximate the real-world contexts in which PII appears in code corpora, making it difficult to extract realistic privacy leakage. In this paper, we propose a pipeline that simulates practical privacy-related code generation scenarios and adopts a test-driven strategy to elicit the memorized information from the generated test cases. We further introduce an automatically constructed privacy feature library that replaces manual prompt engineering by providing realistic templates and examples to guide test case generation. Large-scale experiments on 5 widely used LLMs show that our pipeline exposes more confirmed privacy leakage, achieving a 2.56 times increase in detected leakage compared to existing baselines.
- Abstract(参考訳): 大規模コードデータセットが広く利用可能になったことで、コード関連のタスクのための大規模言語モデル(LLM)が急速に開発されるようになった。
これらのデータセットには機密性のある個人識別情報(PII)が含まれており、LCMがそれを記憶して再生する際にプライバシーの漏洩につながる可能性がある。
しかし、既存のプライバシ推論検出方法はアドホックなプロンプト構築(手動または自動設計)に依存している。
したがって、コードコーパスにPIIが現れる現実世界のコンテキストを適切に近似しないため、現実的なプライバシー漏洩を抽出することは困難である。
本稿では,実際のプライバシ関連コード生成シナリオをシミュレートするパイプラインを提案し,生成したテストケースから記憶された情報を抽出するためのテスト駆動型戦略を採用する。
さらに、テストケース生成をガイドする現実的なテンプレートや例を提供することで、手動のプロンプトエンジニアリングを置き換える、自動構築されたプライバシ機能ライブラリも導入する。
5つの広く使われているLCMの大規模な実験では、パイプラインがより確認されたプライバシー漏洩を露呈し、既存のベースラインに比べて検出されたリークが2.56倍増加することが示されている。
関連論文リスト
- Auditing and Mitigating Privacy Leakage in Cloud-Edge Collaborative Decoding [5.588359981676548]
クラウド・エッジ・コラボレーティブ・デコーディング・パラダイムを提案する。このパラダイムでは、プライマリデータをエッジに保持し、SLM(Small Language Model)によって次世代のディストリビューションを生成する。
このようなコラボレーションによって、大量のプライベートコンテキスト情報を公開できることが示される。
復号時の漏洩を抑制するために送信信号の動的最適化を行う防衛機構であるCoVeilを提案する。
論文 参考訳(メタデータ) (2026-08-29T07:40:14Z) - Automated Privacy Information Annotation in Large Language Model Interactions [40.87806981624453]
実際の識別子の下で大きな言語モデル(LLM)と対話するユーザは、プライベート情報の開示を無意識にリスクを負うことが多い。
既存のプライバシ検出方法は、異なる目的とアプリケーションドメインのために設計されている。
249Kのユーザクエリと154Kの注釈付きプライバシフレーズを備えた大規模多言語データセットを構築した。
論文 参考訳(メタデータ) (2025-05-27T09:00:12Z) - Know Or Not: a library for evaluating out-of-knowledge base robustness [0.0]
大規模言語モデル(LLM)のOOKB(out-of-knowledge base)ロバスト性を体系的に評価するための新しい手法を提案する。
我々は,オープンソースライブラリである knowornot に方法論を実装し,ユーザがOOKB の堅牢性のために独自の評価データとパイプラインを開発できるようにする。
論文 参考訳(メタデータ) (2025-05-19T03:17:41Z) - Information-Guided Identification of Training Data Imprint in (Proprietary) Large Language Models [52.439289085318634]
情報誘導プローブを用いて,プロプライエタリな大規模言語モデル (LLM) で知られているトレーニングデータを識別する方法を示す。
我々の研究は、重要な観察の上に成り立っている: 高次数テキストパスは、暗記プローブにとって良い検索材料である。
論文 参考訳(メタデータ) (2025-03-15T10:19:15Z) - Mitigating Sensitive Information Leakage in LLMs4Code through Machine Unlearning [5.974072640812041]
コードのためのLanguage Models for Code (LLMs4Code)は、コード生成タスクに優れており、巨大なソフトウェア開発の負担から開発者をリリースすることを約束している。
これらのモデルは、トレーニング中に埋め込まれた機密情報が漏洩する可能性があるため、重大なプライバシーリスクに悩まされていることが示されている。
マシンアンラーニングは、モデルが完全なリトレーニングなしにセンシティブな情報を“忘れる”ことによって、有望なソリューションとして浮上した。
論文 参考訳(メタデータ) (2025-02-09T01:50:34Z) - OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。
オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。
トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文 参考訳(メタデータ) (2024-11-07T17:47:25Z) - PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳(メタデータ) (2024-08-29T17:58:38Z) - LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。
この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。
本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文 参考訳(メタデータ) (2024-08-23T01:37:29Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。
プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。
TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
論文 参考訳(メタデータ) (2023-07-28T07:43:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。