論文の概要: Understanding Privacy Risks in Code Models Through Training Dynamics: A Causal Approach

• arxiv url: http://arxiv.org/abs/2512.07814v1
• Date: Mon, 08 Dec 2025 18:47:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:55.011837
• Title: Understanding Privacy Risks in Code Models Through Training Dynamics: A Causal Approach
• Title（参考訳）: トレーニングダイナミクスによるコードモデルのプライバシリスクの理解--因果的アプローチ
• Authors: Hua Yang, Alejandro Velasco, Sen Fang, Bowen Xu, Denys Poshyvanyk,
• Abstract要約: コードのための大規模言語モデル(LLM4Code)は、開発者の生産性を大幅に改善しただけでなく、プライバシの懸念も高めた。 LLM4Codeによって学習・リークされる可能性において,異なるPIIタイプが異なるかどうかを検討する。 その結果, 漏洩リスクはPIIタイプによって大きく異なり, トレーニングのダイナミクスと相関していることがわかった。 この研究は、漏洩リスクがタイプ依存であることを示す最初の因果的証拠を提供し、タイプ認識と学習可能性認識の防御を開発するためのガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 58.05800140178267
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models for code (LLM4Code) have greatly improved developer productivity but also raise privacy concerns due to their reliance on open-source repositories containing abundant personally identifiable information (PII). Prior work shows that commercial models can reproduce sensitive PII, yet existing studies largely treat PII as a single category and overlook the heterogeneous risks among different types. We investigate whether distinct PII types vary in their likelihood of being learned and leaked by LLM4Code, and whether this relationship is causal. Our methodology includes building a dataset with diverse PII types, fine-tuning representative models of different scales, computing training dynamics on real PII data, and formulating a structural causal model to estimate the causal effect of learnability on leakage. Results show that leakage risks differ substantially across PII types and correlate with their training dynamics: easy-to-learn instances such as IP addresses exhibit higher leakage, while harder types such as keys and passwords leak less frequently. Ambiguous types show mixed behaviors. This work provides the first causal evidence that leakage risks are type-dependent and offers guidance for developing type-aware and learnability-aware defenses for LLM4Code.
• Abstract（参考訳）: コードのための大規模言語モデル(LLM4Code)は、開発者の生産性を大幅に向上させたが、多くの個人識別可能な情報(PII)を含むオープンソースリポジトリに依存しているため、プライバシー上の懸念も高まっている。 先行研究は、商業モデルは機密性の高いPIIを再現できることを示しているが、既存の研究は、PIIを単一のカテゴリとして扱い、異なるタイプの異種リスクを見落としている。 LLM4Codeによって学習・リークされる可能性の異なるPII型と、この関係が因果関係であるかどうかを検討する。 提案手法は,多様なPII型を用いたデータセットの構築,異なるスケールの微調整モデルの構築,実際のPIIデータに基づくトレーニングダイナミクスの計算,学習可能性が漏洩に与える影響を推定するための構造因果モデルを定式化することを含む。 結果として,PIIタイプ間でリークリスクが大きく異なり,トレーニングのダイナミクスと相関することが明らかとなった。IPアドレスなどの学習が容易なインスタンスは高いリークを示し,キーやパスワードなどのより厳しいタイプは頻繁にリークしない。 曖昧な型は様々な振る舞いを示す。 この研究は、漏洩リスクが型に依存しているという最初の因果的証拠を提供し、LLM4Codeの型認識および学習可能性認識防御を開発するためのガイダンスを提供する。

関連論文リスト

• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• When Better Features Mean Greater Risks: The Performance-Privacy Trade-Off in Contrastive Learning [9.660010886245155]
  本稿では,エンコーダモデルを対象としたMIA攻撃によるプライバシの脅威を系統的に検討する。 本稿では,Lp-Norm Likelihood Attack (LpLA) と呼ばれる特徴ベクトルのpノルムに基づく新しいメンバシップ推論攻撃法を提案する。
  論文  参考訳（メタデータ） (2025-06-06T05:03:29Z)
• Evaluating Query Efficiency and Accuracy of Transfer Learning-based Model Extraction Attack in Federated Learning [4.275908952997288]
  Federated Learning(FL)は、クライアントデータを保護するために設計された協調学習フレームワークである。 FLのプライバシ保護の目標にもかかわらず、その分散した性質は特に抽出攻撃のモデルに感受性がある。 本稿では,FLをベースとした2種類のモデル抽出攻撃に対する被害者モデルの脆弱性について検討する。
  論文  参考訳（メタデータ） (2025-05-25T22:40:10Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
  我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。 モデル能力,トレーニングデータ,モデル解釈について検討した。 我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2022-12-15T19:49:34Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
  機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。 私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。 私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
  論文  参考訳（メタデータ） (2021-02-04T11:35:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。