論文の概要: Coupling public and private gradient provably helps optimization

• arxiv url: http://arxiv.org/abs/2310.01304v1
• Date: Mon, 2 Oct 2023 16:08:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 20:59:51.429338
• Title: Coupling public and private gradient provably helps optimization
• Title（参考訳）: パブリック勾配とプライベート勾配の結合は最適化に役立つ
• Authors: Ruixuan Liu, Zhiqi Bu, Yu-xiang Wang, Sheng Zha, George Karypis
• Abstract要約: 大規模なニューラルネットワークの成功は、データの可用性によって決定される。 少数の公開データのみをトレーニングすることで、精度の低下につながることが観察されている。
• 参考スコア（独自算出の注目度）: 38.80873569002277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of large neural networks is crucially determined by the availability of data. It has been observed that training only on a small amount of public data, or privately on the abundant private data can lead to undesirable degradation of accuracy. In this work, we leverage both private and public data to improve the optimization, by coupling their gradients via a weighted linear combination. We formulate an optimal solution for the optimal weight in the convex setting to indicate that the weighting coefficient should be hyperparameter-dependent. Then, we prove the acceleration in the convergence of non-convex loss and the effects of hyper-parameters such as privacy budget, number of iterations, batch size, and model size on the choice of the weighting coefficient. We support our analysis with empirical experiments across language and vision benchmarks, and provide a guideline for choosing the optimal weight of the gradient coupling.
• Abstract（参考訳）: 大規模なニューラルネットワークの成功は、データの可用性によって決定される。 少数の公開データのみによるトレーニングや、豊富なプライベートデータによるプライベートなトレーニングは、望ましくない精度の低下につながることが観察されている。 本研究では、重み付き線形結合により勾配を結合することにより、プライベートデータとパブリックデータの両方を利用して最適化を改善する。 凸集合における最適重みに対する最適解を定式化し、重み係数が超パラメータ依存性であることを示す。 次に,非凸損失の収束の加速と,プライバシ予算,イテレーション数,バッチサイズ,モデルサイズなどのハイパーパラメータが重み付け係数の選択に与える影響を証明した。 言語と視覚のベンチマークによる実証実験による分析をサポートし、勾配結合の最適重みを選択するためのガイドラインを提供する。

関連論文リスト

• AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs [61.13296177652599]
  本稿では,異なる領域からのトレーニングデータの最適構成がスケール依存であることを示す。 我々は、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための、新しい実用的なアプローチである*AutoScale*を紹介します。 GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Quantization Avoids Saddle Points in Distributed Optimization [1.579622195923387]
  分散非最適化は、多くの分散システムの重要な機能を支える。 本研究の目的は,サドル点収束を2次定常点収束に効果的に回避できることを示すことである。 簡単に調整可能な量子化により、ユーザの制御により、通信オーバーヘッドを積極的に削減できる。
  論文  参考訳（メタデータ） (2024-03-15T15:58:20Z)
• Online Sensitivity Optimization in Differentially Private Learning [8.12606646175019]
  クリッピング閾値を動的に最適化する新しい手法を提案する。 我々は、このしきい値を学習可能なパラメータとして扱い、しきい値とコスト関数のクリーンな関係を確立する。 提案手法は, 多様なデータセット, タスク, モデル次元, プライバシレベルにまたがる代替的かつ適応的な戦略に対して, 徹底的に評価される。
  論文  参考訳（メタデータ） (2023-10-02T00:30:49Z)
• Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
  我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。 我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
  論文  参考訳（メタデータ） (2022-06-27T01:39:15Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Debiasing In-Sample Policy Performance for Small-Data, Large-Scale Optimization [4.554894288663752]
  本稿では,データ駆動最適化におけるポリシのアウト・オブ・サンプル性能の新たな推定法を提案する。 クロスバリデーションとは異なり、我々の手法はテストセットのデータを犠牲にするのを避ける。 我々は,小規模・大規模システムにおける推定器の性能を実証する。
  論文  参考訳（メタデータ） (2021-07-26T19:00:51Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。