論文の概要: Noise-Aware Shrinkage for Differentially Private Zeroth-Order Fine-Tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2608.03277v1
• Date: Tue, 04 Aug 2026 07:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.089026
• Title: Noise-Aware Shrinkage for Differentially Private Zeroth-Order Fine-Tuning of Large Language Models
• Title（参考訳）: 大規模言語モデルの微分零次微調整のための雑音認識収縮
• Abstract要約: 信号品質の予測値に応じて,民生推定値を適応的に減衰する雑音対応縮小手法を提案する。 純粋な後処理として、SAGEは追加のプライバシ予算もモデルクエリも必要とせず、一定の追加状態しか導入しない。
• 参考スコア（独自算出の注目度）: 16.65410076641234
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Differentially private zeroth-order optimization (DP-ZO) enables memory-efficient private fine-tuning of large language models using only forward evaluations. Existing aggregation-based DP-ZO methods reconstruct model updates at a fixed scale, ignoring that the strength of useful signals varies throughout training. Consequently, noise-dominated updates may receive excessive weight and degrade model utility. To address this issue, we propose SAGE, a noise-aware shrinkage method that adaptively attenuates privatized estimates according to their estimated signal quality. SAGE subtracts the known Gaussian noise variance from the observed second moment to estimate the underlying signal energy, stabilizes this estimate through temporal tracking, and compares its current signal-to-noise level with a warm-up reference to derive a bounded shrinkage factor. As pure post-processing, SAGE requires neither additional privacy budget nor model queries and introduces only constant additional state. Our theoretical analysis shows that shrinkage reduces the quadratic update-risk term faster than the linear descent term, preserving useful descent while limiting the influence of noise-dominated updates. Experiments on RoBERTa-large, OPT-1.3B, and OPT-6.7B demonstrate that SAGE outperforms existing baselines in most settings under the same privacy budgets while preserving the forward-only memory efficiency of DP-ZO.
• Abstract（参考訳）: Differentially private zeroth-order optimization (DP-ZO) は、前向き評価のみを用いた大規模言語モデルのメモリ効率の高いプライベート微調整を可能にする。 既存のアグリゲーションベースのDP-ZO手法は、トレーニングを通して有用な信号の強度が異なることを無視して、モデル更新を一定のスケールで再構築する。 その結果、ノイズに支配された更新は過剰な重み付けを受け、モデルの有用性が低下する可能性がある。 この問題に対処するため,信号品質の予測値に応じて民生推定値を適応的に減衰する雑音対応縮小手法であるSAGEを提案する。 SAGEは観測された第2モーメントから既知のガウスノイズの分散を減らし、基礎となる信号エネルギーを推定し、時間的追跡によってこの推定を安定化し、現在の信号対雑音レベルと、有界収縮係数を導出するためのウォームアップ基準を比較する。 純粋な後処理として、SAGEは追加のプライバシ予算もモデルクエリも必要とせず、一定の追加状態しか導入しない。 理論的解析により,2次更新リスク項は2次更新リスク項よりも高速に減少し,ノイズに支配された更新の影響を抑えつつ,有用な降下を保ち得ることが示された。 RoBERTa-large, OPT-1.3B, OPT-6.7Bの実験は、SAGEがDP-ZOの前方のみのメモリ効率を維持しながら、同じプライバシー予算の下で、ほとんどの設定において既存のベースラインよりも優れていることを示した。

関連論文リスト

• From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
  拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。 最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。 次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
  論文  参考訳（メタデータ） (2026-07-10T20:59:06Z)
• SATB-VR: Training Few-Step Video Restoration Diffusion Model using SNR-Aware Trajectory Blending [55.764018145256216]
  本稿では,補助予測器を介してデノナイジングプロセスを開始する数ステップのパラダイムであるSATB-VRを提案する。 我々は,SATB-VRが,合成,実世界,AIGCベンチマークにおける既存のアプローチに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2026-06-27T01:32:16Z)
• Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization [8.171217925484921]
  パラメータ効率の良い微調整によるフェデレートラーニング(FL)は、分散データ上でスケーラブルなモデルトレーニングを可能にする。 Low-Rank Adaptation (LoRA)は、グローバルアグリゲーション中にエラーを導入し、差分プライバシー(DP)の負の効果を増幅する。 サーバサイドアグリゲーションを再活性化する,差分的にプライベートなクロスサイロFLフレームワークであるFedPowerを提案する。
  論文  参考訳（メタデータ） (2026-05-08T20:06:09Z)
• DP-$λ$CGD: Efficient Noise Correlation for Differentially Private Model Training [30.807442477789447]
  本稿では,直前の繰り返しのみにノイズを関連付ける新しいノイズ相関戦略を提案し,その制御部分をキャンセルする。 提案手法は擬似ランダムノイズ発生器によるノイズ再生に依存し,過去のノイズを記憶する必要がなくなる。 計算オーバーヘッドは最小限であり,DP-SGDよりも精度が向上したことを示す。
  論文  参考訳（メタデータ） (2026-01-29T21:21:34Z)
• Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer [4.6561758107970395]
  ゼロオーダー (ZO) 最適化による微調整大型言語モデル (LLM) は,関数評価による勾配の近似によりメモリ削減を行う。 適応型textbfBayesian textbfSubspace textbfZeroth-Order textbfOptimizer について紹介する。
  論文  参考訳（メタデータ） (2026-01-04T09:35:11Z)
• Enhancing DPSGD via Per-Sample Momentum and Low-Pass Filtering [4.9871580445771455]
  Differentially Private Gradient Descent(DPSGD)は、正式なプライバシ保証を備えたディープニューラルネットワークのトレーニングに広く使用されている。 既存の手法は、DPノイズの低減がクリッピングバイアスと逆効果を悪化させるため、これらの問題の1つにのみ対処する。 本研究では,サンプルごとの運動量と低域通過フィルタを併用してDPノイズとクリッピングバイアスを同時に緩和する新しい手法であるemphDP-PMLFを提案する。
  論文  参考訳（メタデータ） (2025-11-11T23:40:02Z)
• Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance [54.88271057438763]
  ノイズアウェアネスガイダンス (NAG) は、事前に定義された騒音スケジュールと整合性を保つために、サンプリング軌道を明示的に制御する補正手法である。 NAGは一貫してノイズシフトを緩和し、主流拡散モデルの生成品質を大幅に改善する。
  論文  参考訳（メタデータ） (2025-10-14T13:31:34Z)
• Dual Utilization of Perturbation for Stream Data Publication under Local Differential Privacy [10.07017446059039]
  ローカルディファレンシャルプライバシ(LDP)が有望な標準として登場した。 ストリームデータにLDPを適用することは、大きなあるいは無限の値を含む場合が多いため、大きな課題となる。 本稿では、電流摂動結果を用いてその後の摂動過程を校正する反復摂動IPP法を提案する。 これら3つのアルゴリズムが差分プライバシーを$w$-eventで満たし、実用性を大幅に向上することを証明する。
  論文  参考訳（メタデータ） (2025-04-21T09:51:18Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。