論文の概要: When to spend privacy: optimal allocation in private learning
- arxiv url: http://arxiv.org/abs/2610.39954v1
- Date: Thu, 29 Oct 2026 12:51:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.506301
- Title: When to spend privacy: optimal allocation in private learning
- Title（参考訳）: プライバシを使うとき--プライベートラーニングにおける最適なアロケーション
- Abstract要約: プライバシ会計は、差分的にプライベートなグラディエントDescentの累積的なプライバシコストを制限しているが、イテレーション毎に固定予算を割り当てる方法を決定するものではない。
合成ゼロ集中微分プライバシー制約の下で,完全ガウス雑音分散スケジュールをオープンループ制御として定式化する。
予測された端末追跡について、各局所最小化器が認定予算を浪費し、正確な予算計算を行うことを証明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy accounting bounds the cumulative privacy cost of Differentially Private Stochastic Gradient Descent but does not determine how to allocate a fixed budget across iterations. We formulate the complete Gaussian noise-variance schedule as an open-loop control under a composed zero-Concentrated Differential Privacy constraint, explicitly accounting for schedule selection. For expected quadratic terminal tracking, we prove that every local minimizer exhausts the certified budget, yielding an exact-budget simplex formulation. We introduce Privacy-Budget Adjoint Mirror Descent (PB-AMD), combining pathwise adjoint gradients with entropic updates that preserve positivity, charge floors, and the prescribed budget. Under regularity and coercivity assumptions, we establish existence and budget stability of optimal schedules, design-to-training utility stability, and deterministic, stochastic, and sample-average stationarity guarantees. A linear-quadratic reduction yields an explicit square-root allocation law. Experiments demonstrate tracking improvements over several allocation rules and predictive improvements over uniform allocation in a learning-rate restart setting, where learning-rate allocation performs similarly. Comparisons at a common stationarity tolerance show lower schedule-optimization times than projected gradient descent on the tested problems. The framework connects certified privacy accounting with optimization through nonlinear training dynamics.
- Abstract（参考訳）: プライバシ会計は、異なるプライベート確率勾配Descentの累積プライバシーコストを制限しているが、イテレーション毎に固定予算を割り当てる方法を決定するものではない。
我々は、ゼロ集中微分プライバシー制約により、ガウス雑音分散スケジュールをオープンループ制御として定式化し、スケジュール選択を明示的に考慮する。
予測された二次終端追跡について、各局所最小化器が認定予算を浪費し、正確な予算を定式化することを証明する。
本報告では,Philipacy-Budget Adjoint Mirror Descent (PB-AMD)を導入し,パスワイド・アジョイント勾配とエントロピー更新を併用して,肯定性,充電床,所定の予算を維持する。
規則性および強制的仮定の下で、最適スケジュールの存在と予算安定性、設計から訓練までのユーティリティ安定性、決定論的、確率的、サンプル平均定常性を保証する。
線形二乗還元は明示的な平方根割り当て法則をもたらす。
実験では、複数のアロケーションルールに対するトラッキングの改善と、学習速度の再起動設定における一様アロケーションよりも予測的な改善を示す。
共通定常性トレランスの比較では, 予測勾配降下よりもスケジュール最適化時間が低かった。
このフレームワークは、認定されたプライバシ会計と非線形トレーニングダイナミクスによる最適化を結合する。
関連論文リスト
- Differentially Private Manifold Denoising [5.0794787043927725]
本稿では,ノイズの多い非プライベートな問合せ点の修正にセンシティブな参照データセットを活用可能な,微分プライベートなデノベーションフレームワークを提案する。
このフレームワークは、$(varepsilon,)$-differential privacy (DP)を使用して反復およびクエリ間で厳格なプライバシ会計を実行する。
実際には、このフレームワークは多様体メソッドに差分プライバシーをもたらし、埋め込み、クラスタリング、可視化といった下流タスクに十分な幾何学的信号を保持する。
論文 参考訳（メタデータ） (2026-04-01T14:13:59Z) - Robust and Consistent Ski Rental with Distributional Advice [13.811651343801579]
スキーレンタル問題は不確実性の下でのオンライン意思決定の標準モデルである。
本稿では,未知品質の分布的アドバイスを決定論的アルゴリズムとランダム化アルゴリズムの両方に統合するフレームワークを提案する。
我々のフレームワークは、既存の点予測ベースラインよりも一貫性を著しく向上し、かつ、同等の堅牢性を維持していることを示す。
論文 参考訳（メタデータ） (2026-03-31T04:04:21Z) - Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards [26.5011687714416]
既存のグループベースのポリシー最適化手法は、すべてのトレーニングプロンプトに対して一定数のロールアウトを割り当てる。
この均一な割り当ては全てのプロンプトを等しく情報的扱いし、非効率的な計算予算の使用と訓練の進捗を妨げる可能性がある。
本稿では、既存のバッチのプロンプトに所定のロールアウト予算を割り当て、ポリシー更新のグラデーションのばらつきを最小限に抑える可変インフォームド予測割当戦略であるVIPを紹介する。
論文 参考訳（メタデータ） (2026-02-02T03:50:01Z) - Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。
SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。
複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2026-02-01T12:56:10Z) - Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences [51.56484100374058]
凸最適化のための勾配降下(SGD)の停止規則について検討した。
我々は、投影されたSGDの重み付き平均準最適度に対して、任意の有意、データ依存の高信頼シーケンスを開発する。
これらは、厳格でタイムユニフォームなパフォーマンス保証と、有限時間$varepsilon$-optimality証明書である。
論文 参考訳（メタデータ） (2025-12-15T09:26:45Z) - Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。
トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。
証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
論文 参考訳（メタデータ） (2025-02-19T07:10:32Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。
制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-02-16T14:53:55Z) - Online Stochastic Optimization with Wasserstein Based Non-stationarity [12.91020811577007]
有限期間の地平線上の複数の予算制約を持つ一般的なオンライン最適化問題を検討する。
意思決定者の目標は、予算制約の対象となる累積報酬を最大化することである。
この定式化は、オンラインリニアプログラミングやネットワーク収益管理を含む幅広いアプリケーションを取り込む。
論文 参考訳（メタデータ） (2020-12-13T04:47:37Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳（メタデータ） (2020-08-21T18:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。