論文の概要: Learning Rate Scheduling with Matrix Factorization for Private Training

• arxiv url: http://arxiv.org/abs/2511.17994v1
• Date: Sat, 22 Nov 2025 09:24:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.576483
• Title: Learning Rate Scheduling with Matrix Factorization for Private Training
• Title（参考訳）: マトリックスファクトリゼーションを用いた個人研修のための学習率スケジューリング
• Authors: Nikita P. Kalinin, Joel Daniel Andersson,
• Abstract要約: 本研究では,学習速度スケジューリングと相関雑音下での勾配降下を伴う差分プライベートモデルトレーニングについて検討した。 我々は,MaxSEとMeanSEの両方の誤差測定値の下で,プレフィックスサム因数分解の改善を実現する学習速度対応因数分解法を提案する。
• 参考スコア（独自算出の注目度）: 4.726777092009554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study differentially private model training with stochastic gradient descent under learning rate scheduling and correlated noise. Although correlated noise, in particular via matrix factorizations, has been shown to improve accuracy, prior theoretical work focused primarily on the prefix-sum workload. That workload assumes a constant learning rate, whereas in practice learning rate schedules are widely used to accelerate training and improve convergence. We close this gap by deriving general upper and lower bounds for a broad class of learning rate schedules in both single- and multi-epoch settings. Building on these results, we propose a learning-rate-aware factorization that achieves improvements over prefix-sum factorizations under both MaxSE and MeanSE error metrics. Our theoretical analysis yields memory-efficient constructions suitable for practical deployment, and experiments on CIFAR-10 and IMDB datasets confirm that schedule-aware factorizations improve accuracy in private training.
• Abstract（参考訳）: 学習速度スケジューリングと相関雑音下での確率勾配勾配を用いた差分プライベートモデルトレーニングについて検討した。 特に行列分解による相関ノイズは精度を向上させることが示されているが、以前の理論的研究は主にプレフィックスサムのワークロードに焦点を当てていた。 実際の学習速度スケジュールは、トレーニングを加速し、収束を改善するために広く使用されている。 我々は,このギャップを,単一環境とマルチエポック環境の両方において,幅広い学習率スケジュールの一般的な上層境界と下層境界を導出することによって埋める。 これらの結果に基づいて,MaxSE と MeanSE の誤差測定値におけるプレフィックスサム因数分解の改善を実現する学習速度対応因数分解法を提案する。 CIFAR-10 と IMDB データセットを用いた実験により,スケジュール対応の因子分析により,プライベートトレーニングの精度が向上することが確認された。

関連論文リスト

• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Optimal Growth Schedules for Batch Size and Learning Rate in SGD that Reduce SFO Complexity [0.6906005491572401]
  計算勾配法におけるバッチサイズと学習速度のスケジューリングは効率を低下させ、収束を損なう。 理論的には,SFOの複雑性を低減させるバッチサイズと学習率の最適な成長スケジュールを導出した。 本結果は,ディープラーニングにおける大規模バッチ学習をスケーラブルかつ効率的に行うための理論的知見と実践的ガイドラインの両方を提供する。
  論文  参考訳（メタデータ） (2025-08-07T11:52:25Z)
• The Surprising Agreement Between Convex Optimization Theory and Learning-Rate Scheduling for Large Model Training [55.233765889424035]
  本研究では,大規模モデル学習における学習速度のスケジュールが,非滑らかな最適化理論に縛られた凸と驚くほど類似していることを示す。 最適学習率で継続トレーニングのスケジュールを延長し、かつ、最適学習率をスケジュール間で転送することにより、124Mと210MのLlama型モデルをトレーニングするための顕著な改善を実現した。
  論文  参考訳（メタデータ） (2025-01-31T08:55:56Z)
• Randomness Helps Rigor: A Probabilistic Learning Rate Scheduler Bridging Theory and Deep Learning Practice [7.494722456816369]
  確率論的学習率スケジューラ(PLRS)を提案する。 PLRSは単調に減少する条件に適合せず、証明可能な収束を保証する。 PLRSは,既存の最先端学習率スケジューラと精度の両面で同等以上の性能を示した。
  論文  参考訳（メタデータ） (2024-07-10T12:52:24Z)
• Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm [87.47506806135746]
  一部のアプリケーションでは、エッジラーニングは、スクラッチから新しい2段階ラーニングへと焦点を移している。 本稿では,2段階のエッジ学習システムにおける共同コミュニケーションと計算資源管理の問題について考察する。 事前学習および微調整段階に対する共同資源管理の提案は,システム性能のトレードオフをうまくバランスさせることが示されている。
  論文  参考訳（メタデータ） (2024-04-01T00:21:11Z)
• Optimal Linear Decay Learning Rate Schedules and Further Refinements [46.79573408189601]
  実際に使用される学習率のスケジュールは、理論によって推奨されるものとはほとんど似ていない。 我々はこの理論と実践的ギャップの多くを閉じ、その結果、新しい問題適応型学習率スケジュールを導き出すことができる。
  論文  参考訳（メタデータ） (2023-10-11T19:16:35Z)
• Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
  本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。 ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
  論文  参考訳（メタデータ） (2023-01-28T06:11:31Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Learning Rate Perturbation: A Generic Plugin of Learning Rate Schedule towards Flatter Local Minima [40.70374106466073]
  LEAP(LEArning Rate Perturbation)と呼ばれる一般学習率スケジュールプラグインを提案する。 LEAPは、学習率に一定の摂動を導入することにより、モデルトレーニングを改善するために、様々な学習率スケジュールに適用することができる。 LEAPを用いたトレーニングにより、多様なデータセット上での様々なディープラーニングモデルの性能を向上させることができることを示す広範な実験を行う。
  論文  参考訳（メタデータ） (2022-08-25T05:05:18Z)
• Learning Prediction Intervals for Regression: Generalization and Calibration [12.576284277353606]
  不確実性定量のための回帰における予測間隔の生成について検討する。 我々は一般学習理論を用いて、リプシッツ連続性とVC-サブグラフクラスを含む最適性と実現可能性のトレードオフを特徴づける。 我々は既存のベンチマークと比べてテスト性能の点で、区間生成とキャリブレーションアルゴリズムの強みを実証的に示している。
  論文  参考訳（メタデータ） (2021-02-26T17:55:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。