論文の概要: SA-ADP: Sensitivity-Aware Adaptive Differential Privacy for Large Language Models

• arxiv url: http://arxiv.org/abs/2512.01748v1
• Date: Mon, 01 Dec 2025 14:50:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.905024
• Title: SA-ADP: Sensitivity-Aware Adaptive Differential Privacy for Large Language Models
• Title（参考訳）: SA-ADP:大規模言語モデルに対する感度認識型適応微分プライバシー
• Authors: Stella Etuk, Ashraf Matrawy,
• Abstract要約: 個別のPIIの感度に基づいてノイズを割り当てる感度認識手法であるSA-ADPを提案する。 その結果,SA-ADPはベースライン(No-DP)と従来のDP-SGDに匹敵する結果を示した。
• 参考スコア（独自算出の注目度）: 0.5156484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite advances in the use of large language models (LLMs) in downstream tasks, their ability to memorize information has raised privacy concerns. Therefore, protecting personally identifiable information (PII) during LLM training remains a fundamental challenge. Conventional methods like Differential Privacy-Stochastic Gradient Descent (DP-SGD) provide robust privacy protection via uniform noising, protecting PII regardless of its distinct sensitivity. This comes at the expense of the model's utility, leading to a trade-off. In this paper, we propose SA-ADP, a sensitivity-aware approach that allocates noise based on the sensitivity of individual PII. We evaluated our method on four datasets (ABCD, CUSTOMERSIM, Wikitext-2, and UNSW-NB15 ). Our results show that SA-ADP achieves results comparable to the baseline (No-DP) and the conventional DP-SGD. This means that our method did not degrade the model's utility while still maintaining strong privacy protection.
• Abstract（参考訳）: 下流タスクにおける大規模言語モデル(LLM)の使用の進歩にもかかわらず、情報を記憶する能力はプライバシーの懸念を引き起こしている。 したがって、LLMトレーニング中の個人識別情報(PII)の保護は、依然として根本的な課題である。 従来のDP-SGD(differial Privacy-Stochastic Gradient Descent)のような手法は、異なる感度に関わらず、均一なノイズ付けにより、PIIを保護し、堅牢なプライバシ保護を提供する。 これはモデルの効用を犠牲にし、トレードオフにつながります。 本稿では,個々のPIIの感度に基づいて雑音を割り当てる感度認識手法であるSA-ADPを提案する。 提案手法をABCD, CUSTOMERSIM, Wikitext-2, UNSW-NB15 の4つのデータセットで評価した。 その結果,SA-ADPはベースライン(No-DP)と従来のDP-SGDに匹敵する結果が得られることがわかった。 これは、当社の手法が強力なプライバシ保護を維持しつつも、モデルの有用性を損なわないことを意味する。

関連論文リスト

• FusionDP: Foundation Model-Assisted Differentially Private Learning for Partially Sensitive Features [17.945111987608865]
  現実的なシナリオでは、機能のサブセットにのみプライバシ保護が要求される場合がある。 従来のDP-SGDは1つのサンプルですべての機能に対してプライバシー保護を強制し、過剰なノイズ注入と大きなユーティリティ劣化を引き起こす。 特徴レベルの差分プライバシーの下でモデルユーティリティを向上させる2段階のフレームワークであるFusionDPを提案する。
  論文  参考訳（メタデータ） (2025-11-05T19:13:10Z)
• Forget What's Sensitive, Remember What Matters: Token-Level Differential Privacy in Memory Sculpting for Continual Learning [26.034865955638864]
  プライバシーを強化した継続的学習フレームワークを提案する。 当社のアプローチではまず,トークンレベルの動的微分プライバシ戦略を導入しています。 次に、プライバシ誘導型メモリ彫刻モジュールを統合する。
  論文  参考訳（メタデータ） (2025-09-16T11:01:59Z)
• On the MIA Vulnerability Gap Between Private GANs and Diffusion Models [51.53790101362898]
  GAN(Generative Adversarial Networks)と拡散モデルが高品質な画像合成のための主要なアプローチとして登場している。 差分自己生成モデルが直面するプライバシーリスクの統一的および実証的分析について述べる。
  論文  参考訳（メタデータ） (2025-09-03T14:18:22Z)
• Can Differentially Private Fine-tuning LLMs Protect Against Privacy Attacks? [8.189149471520542]
  細調整された大規模言語モデル(LLM)は、特定のタスクに適応するための重要な戦略となっている。 差分プライバシー(DP)はそのような漏洩に対して強力な理論的保証を提供するが、LLMにおける経験的プライバシーの有効性は未だ不明である。 本稿では,DPが微調整方法やプライバシー予算に与える影響を体系的に検討する。
  論文  参考訳（メタデータ） (2025-04-28T05:34:53Z)
• Differentially Private 2D Human Pose Estimation [6.982542225631412]
  微分プライベートな2次元ポーズ推定(2D-HPE)のための最初の包括的枠組みを提案する。 プライバシ性能を効果的にバランスするために,低次元部分空間へのノイズ勾配を投影するProjected DP-SGDを採用した。 次に、FDP(Feature Differential Privacy)を導入し、公共の視覚的手がかりを維持しながら、機密機能のみを選択的に民営化する。
  論文  参考訳（メタデータ） (2025-04-14T12:50:37Z)
• Activity Recognition on Avatar-Anonymized Datasets with Masked Differential Privacy [64.32494202656801]
  プライバシを保存するコンピュータビジョンは、機械学習と人工知能において重要な問題である。 本稿では,ビデオデータセット中の感性のある被験者を文脈内の合成アバターに置き換える匿名化パイプラインを提案する。 また、匿名化されていないがプライバシーに敏感な背景情報を保護するため、MaskDPを提案する。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Privacy Constrained Fairness Estimation for Decision Trees [2.9906966931843093]
  任意のAIモデルの公平さを測定するには、データセット内の個人の敏感な属性が必要である。 プライバシ・アウェア・フェアネス・オブ・ルール(PAFER)と呼ばれる新しい手法を提案する。 提案手法は,ラプラシアン機構を用いて,データセット内の個人のプライバシーを高い確度で保証しつつ,低い誤差でSPを推定できることを示す。
  論文  参考訳（メタデータ） (2023-12-13T14:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。