論文の概要: On the Price of Privacy for Language Identification and Generation

• arxiv url: http://arxiv.org/abs/2604.07238v1
• Date: Wed, 08 Apr 2026 16:04:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.622598
• Title: On the Price of Privacy for Language Identification and Generation
• Title（参考訳）: 言語識別・生成のためのプライバシの価格について
• Authors: Xiaoyu Li, Andi Han, Jiaojiao Jiang, Junbin Gao,
• Abstract要約: 本研究では,言語学習におけるプライバシのコストについて,差分プライベート(DP)言語識別と生成について検討する。 以上の結果から,言語学習におけるプライバシのコストは驚くほど軽度であることが示唆された。
• 参考スコア（独自算出の注目度）: 39.91890433860882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are increasingly trained on sensitive user data, understanding the fundamental cost of privacy in language learning becomes essential. We initiate the study of differentially private (DP) language identification and generation in the agnostic statistical setting, establishing algorithms and matching lower bounds that precisely quantify the cost of privacy. For both tasks, approximate $(\varepsilon, δ)$-DP with constant $\varepsilon > 0$ recovers the non-private error rates: $\exp(-r(n))$ for identification (for any $r(n) = o(n)$) and $\exp(-Ω(n))$ for generation. Under pure $\varepsilon$-DP, the exponents degrade by a multiplicative factor of $\min\{1, \varepsilon\}$, which we show is tight up to constants. Notably, for generation under pure DP with mild assumptions, the upper bound $\exp(-\min\{1,\varepsilon\} \cdot Ω(n))$ matches the lower bound up to some constants, establishing an optimal rate. Our results show that the cost of privacy in language learning is surprisingly mild: absent entirely under approximate DP, and exactly a $\min\{1,\varepsilon\}$ factor in the exponent under pure DP.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、センシティブなユーザデータでますます訓練されているため、言語学習におけるプライバシの基本的なコストを理解することが不可欠である。 本研究は,プライバシーのコストを正確に定量化するためのアルゴリズムと下位境界の整合性を備えた,非依存的統計設定における差分プライベート(DP)言語識別と生成の研究を開始する。 両方のタスクに対して、定数 $\varepsilon > 0$ の近似 $(\varepsilon, δ)$-DP は、プライベートでないエラー率を回復する: $\exp(-r(n))$ for identification ( for any $r(n) = o(n)$) and $\exp(-Ω(n))$ for generation。 純粋な$\varepsilon$-DPの下では、指数は$\min\{1, \varepsilon\}$の乗算因子によって分解される。 特に、緩やかな仮定を持つ純 DP の下での生成に対しては、上界 $\exp(-\min\{1,\varepsilon\} \cdot Ω(n))$ は下界をいくつかの定数に一致させ、最適な速度を確立する。 以上の結果から,言語学習におけるプライバシのコストは驚くほど緩やかで,ほぼDP以下で,純粋DP以下では$$\min\{1,\varepsilon\}$因子が存在しないことが明らかとなった。

関連論文リスト

• Private Mean Estimation with Person-Level Differential Privacy [6.621676316292624]
  複数のサンプルを持つ場合の個人レベルの個人別平均推定について検討した。 我々は、計算効率のよいアルゴリズムを、純粋DPで、計算効率の悪いアルゴリズムを、ほぼ一致する下界は、近似DPの最も寛容な場合を抑える。
  論文  参考訳（メタデータ） (2024-05-30T18:20:35Z)
• Smooth Sensitivity for Geo-Privacy [17.835910182900985]
  微分プライバシーの局所モデル (LDP) は、この問題が研究されている主要なモデルである。 Geo-Privacy (GP) は、識別可能性のレベルが$mathrmdist(x_i, x_i')$に比例することを規定している。 微分プライバシーからGeo-Privacyへのスムーズな感度フレームワークを一般化することで、与えられたインスタンスの硬さに合わせてノイズを加えることができます。
  論文  参考訳（メタデータ） (2024-05-10T08:32:07Z)
• Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis Testing: A Lesson From Fano [83.5933307263932]
  本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。 基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
  論文  参考訳（メタデータ） (2022-10-24T23:50:12Z)
• Differentially Private Exploration in Reinforcement Learning with Linear Representation [102.17246636801649]
  まず,線形混合MDP(Ayob et al., 2020)の設定(モデルベース設定)について検討し,共同・局所微分プライベート(DP)探索を統一的に分析するための枠組みを提供する。 我々はさらに、線形MDP(Jin et al., 2020)におけるプライバシー保護探索(つまりモデルフリー設定)について研究し、$widetildeO(sqrtK/epsilon)$ regret bound for $(epsilon,delta)を提供する。
  論文  参考訳（メタデータ） (2021-12-02T19:59:50Z)
• Locally Differentially Private Reinforcement Learning for Linear Mixture Markov Decision Processes [78.27542864367821]
  強化学習(RL)アルゴリズムは、ユーザのプライベートで機密性の高いデータに依存するパーソナライズされたサービスを提供するために使用することができる。 ユーザのプライバシを保護するために、プライバシ保護RLアルゴリズムが要求されている。 線形混合MDPと呼ばれるマルコフ決定過程(MDP)のクラスを学習するための新しい$(varepsilon, delta)$-LDPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-19T17:44:09Z)
• Differential Privacy in Personalized Pricing with Nonparametric Demand Models [15.036147440342338]
  本稿では,データプライバシ保護下でのテキスト非パラメトリック需要モデルを用いた動的パーソナライズ価格問題について検討する。 データプライバシの2つの概念が実践に広く適用されている。 提案手法は,CDP と LDP をそれぞれ満たし,価格決定と未知の要求を即時に学習するアルゴリズムである。
  論文  参考訳（メタデータ） (2021-09-10T01:56:55Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。