論文の概要: DP-ES: Differentially Private Evolution Strategies for Prompt Optimization

• arxiv url: http://arxiv.org/abs/2610.06236v1
• Date: Mon, 05 Oct 2026 12:38:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 17:37:51.613474
• Title: DP-ES: Differentially Private Evolution Strategies for Prompt Optimization
• Title（参考訳）: DP-ES: プロンプト最適化のための微分プライベート進化戦略
• Abstract要約: DP-OPT (Token-level differentially private) は、厳密なプライバシー予算の下で、DP-OPTのような最適化手法を不安定にすることができる。 本稿では,DP-ES (Differentially Private Evolution Strategies) を提案する。 保守的な$(varepsilonleq1.0,=10-5)の保証の下で、DP-ESはGSM8Kで88.1%を達成する。
• 参考スコア（独自算出の注目度）: 29.755741990792668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Token-level differentially private (DP) prompt optimization methods such as DP-OPT can become unstable under tight privacy budgets: on GSM8K, DP-OPT obtains $49.5\pm28.5\%$ across 30 runs, and a logged search trajectory reveals prompt-template drift and noise-sensitive irreversible choices. We diagnose these as structural consequences of greedy token-by-token construction over privately aggregated counts. We then propose DP-ES (Differentially Private Evolution Strategies), a structurally cleaner alternative that maintains a population of full prompts, mutates them via LLM calls that never access the private dataset, and spends privacy only on sampled-Gaussian evaluation; deterministic or Gumbel-smoothed selection is post-processing. Under a conservative $(\varepsilon\leq1.0,δ=10^{-5})$ guarantee, DP-ES achieves 88.1% on GSM8K (+38.6 pp over DP-OPT, approximately 9 times lower standard deviation), 99.7% on MedQA, 73.5% on BANKING77, and 86.8% on Alpaca. It is also 2.5 times faster in wall-clock time and uses 3.3 times fewer logged private-data call groups than DP-OPT. Selection and population ablations, implementation-level noise checks, and a 200-profile exact-match memorization stress test complement the formal guarantee. Scope: Our experiments establish optimization robustness under DP noise, especially where prompt structure is critical; end-to-end validation on genuinely sensitive, non-saturated deployment data remains future work.
• Abstract（参考訳）: GSM8Kでは、DP-OPTは30回のランで49.5 pm28.5 %$を取得し、ログされた検索軌跡は、即時ドリフトとノイズに敏感な選択を示す。 我々はこれらを,私的集計数に対する欲求的トークン・バイ・トーケン構成の構造的帰結として診断する。 次に、DP-ES(Differentially Private Evolution Strategies)を提案する。これは、完全なプロンプトの集団を維持する構造的にクリーンな代替手段であり、LLMコールを介して変更し、プライベートデータセットにアクセスせず、サンプル・ガウス評価にのみプライバシを使用する。 保守的な$(\varepsilon\leq1.0,δ=10^{-5})の保証のもと、DP-ESはGSM8Kで88.1%(+38.6pp、標準偏差の約9倍)、MedQAで99.7%、BANKING77で73.5%、Alpacaで86.8%を達成する。 また、ウォールタイムの2.5倍高速で、DP-OPTの3.3倍のログ付きプライベートデータコールを使用する。 選択と人口削減、実装レベルのノイズチェック、200点の正確なマッチング記憶ストレステストは、正式な保証を補完する。 スコープ: DPノイズ下では,特に迅速な構造が重要であり,真にセンシティブな非飽和配置データに対するエンドツーエンドの検証は今後も継続される。

関連論文リスト

• ESPO: Error-Structured Prompt Optimization via Diagnose, Diversify, and Stabilize [21.715943293929296]
  ESPOは、迅速な最適化を3つのフェーズに分解する: クラスターを1ラウンドで全てのトレーニングエラーを診断する; Proposeは、独立バイアスを持つ4つの補完戦略を介して候補を生成する; Selectはブートストラップの安定性を適用する。 7つのパブリックNLPベンチマークでは、ESPOは最先端技術(GEPAでは74.67%対70.91%)よりも平均精度を$3.76 ppで改善している。
  論文  参考訳（メタデータ） (2026-09-03T17:59:37Z)
• DP-SelFT: Differentially Private Selective Fine-Tuning for Large Language Models [28.62057098410814]
  大規模言語モデル(LLM)の個人選択微調整のためのフレームワークであるDP-SelFTを提案する。 DP-SelFTは、パラメータ選択におけるDP固有の3つの課題に対処している。 実験の結果、DP-SelFTはプライバシー保証の下で、既存のDPファインチューニングベースラインに対するプライバシーとユーティリティのトレードオフを一貫して改善していることがわかった。
  論文  参考訳（メタデータ） (2026-05-17T12:55:11Z)
• DP-KFC: Data-Free Preconditioning for Privacy-Preserving Deep Learning [0.2873445316250935]
  本稿では,フィッシャー情報行列をアーキテクチャ感度に分解し,合成ノイズと入力相関により復元可能であることを示す。 KFACプレコンディショナーを構成するDP-KFCを提案する。 実証的に、DP-KFCは強力なプライバシー体制において、DP-SGDと適応ベースラインを多種多様なモダリティで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-13T12:14:00Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• DP-Forward: Fine-tuning and Inference on Language Models with Differential Privacy in Forward Pass [22.578388829171157]
  DP-フォワードの摂動は言語モデルの前方通過に埋め込まれる。 ほぼ民間のベースラインに到達し、プライバシーレベルではDP-SGDを7.7ppまで上回っている。
  論文  参考訳（メタデータ） (2023-09-13T06:37:53Z)
• Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。 提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-03-20T16:27:36Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
  DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。 われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
  論文  参考訳（メタデータ） (2021-12-29T07:32:29Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。