論文の概要: Coupling public and private gradient provably helps optimization
- arxiv url: http://arxiv.org/abs/2310.01304v1
- Date: Mon, 2 Oct 2023 16:08:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 20:59:51.429338
- Title: Coupling public and private gradient provably helps optimization
- Title(参考訳): パブリック勾配とプライベート勾配の結合は最適化に役立つ
- Authors: Ruixuan Liu, Zhiqi Bu, Yu-xiang Wang, Sheng Zha, George Karypis
- Abstract要約: 大規模なニューラルネットワークの成功は、データの可用性によって決定される。
少数の公開データのみをトレーニングすることで、精度の低下につながることが観察されている。
- 参考スコア(独自算出の注目度): 38.80873569002277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of large neural networks is crucially determined by the
availability of data. It has been observed that training only on a small amount
of public data, or privately on the abundant private data can lead to
undesirable degradation of accuracy. In this work, we leverage both private and
public data to improve the optimization, by coupling their gradients via a
weighted linear combination. We formulate an optimal solution for the optimal
weight in the convex setting to indicate that the weighting coefficient should
be hyperparameter-dependent. Then, we prove the acceleration in the convergence
of non-convex loss and the effects of hyper-parameters such as privacy budget,
number of iterations, batch size, and model size on the choice of the weighting
coefficient. We support our analysis with empirical experiments across language
and vision benchmarks, and provide a guideline for choosing the optimal weight
of the gradient coupling.
- Abstract(参考訳): 大規模なニューラルネットワークの成功は、データの可用性によって決定される。
少数の公開データのみによるトレーニングや、豊富なプライベートデータによるプライベートなトレーニングは、望ましくない精度の低下につながることが観察されている。
本研究では、重み付き線形結合により勾配を結合することにより、プライベートデータとパブリックデータの両方を利用して最適化を改善する。
凸集合における最適重みに対する最適解を定式化し、重み係数が超パラメータ依存性であることを示す。
次に,非凸損失の収束の加速と,プライバシ予算,イテレーション数,バッチサイズ,モデルサイズなどのハイパーパラメータが重み付け係数の選択に与える影響を証明した。
言語と視覚のベンチマークによる実証実験による分析をサポートし、勾配結合の最適重みを選択するためのガイドラインを提供する。
関連論文リスト
- Optimal Locally Private Nonparametric Classification with Public Data [3.109306676759862]
本研究では,非パラメトリック分類に着目した公共データ支援型非対話型LDP学習の問題点について検討する。
後方ドリフト仮定の下では, LDP制約による最小収束率を導出する。
そこで本研究では,極小最大収束率を達成するための新しい手法として,局所的プライベート分類木を提案する。
論文 参考訳(メタデータ) (2023-11-19T16:35:01Z) - Online Sensitivity Optimization in Differentially Private Learning [8.12606646175019]
クリッピング閾値を動的に最適化する新しい手法を提案する。
我々は、このしきい値を学習可能なパラメータとして扱い、しきい値とコスト関数のクリーンな関係を確立する。
提案手法は, 多様なデータセット, タスク, モデル次元, プライバシレベルにまたがる代替的かつ適応的な戦略に対して, 徹底的に評価される。
論文 参考訳(メタデータ) (2023-10-02T00:30:49Z) - Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。
重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
論文 参考訳(メタデータ) (2023-09-15T16:29:27Z) - Over-the-Air Federated Averaging with Limited Power and Privacy Budgets [49.04036552090802]
本稿では,電力予算が制限されたプライベート・オーバ・ザ・エア・フェデレーション(DP-OTA-FedAvg)システムについて検討する。
我々は,DP-OTA-FedAvg係数のギャップを最小化し,プライバシー機能を最小化するために解析的問題を改善することを目的としている。
論文 参考訳(メタデータ) (2023-05-05T13:56:40Z) - Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。
既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。
本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
論文 参考訳(メタデータ) (2022-11-01T14:38:18Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - Debiasing In-Sample Policy Performance for Small-Data, Large-Scale
Optimization [4.554894288663752]
本稿では,データ駆動最適化におけるポリシのアウト・オブ・サンプル性能の新たな推定法を提案する。
クロスバリデーションとは異なり、我々の手法はテストセットのデータを犠牲にするのを避ける。
我々は,小規模・大規模システムにおける推定器の性能を実証する。
論文 参考訳(メタデータ) (2021-07-26T19:00:51Z) - Enhanced data efficiency using deep neural networks and Gaussian
processes for aerodynamic design optimization [0.0]
随伴型最適化法は空気力学的形状設計において魅力的である。
複数の最適化問題が解決されている場合、それらは違法に高価になる可能性がある。
本稿では,高コストな随伴解法に取って代わる機械学習を実現するサロゲートベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-08-15T15:09:21Z) - Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。
LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文 参考訳(メタデータ) (2020-02-12T18:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。