論文の概要: Distributed Online Private Learning of Convex Nondecomposable Objectives
- arxiv url: http://arxiv.org/abs/2206.07944v4
- Date: Thu, 3 Aug 2023 17:02:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 19:54:30.952561
- Title: Distributed Online Private Learning of Convex Nondecomposable Objectives
- Title（参考訳）: 凸非可逆目的の分散オンラインプライベートラーニング
- Authors: Huqiang Cheng, Xiaofeng Liao, and Huaqing Li
- Abstract要約: 我々は、時間によって異なるネットワーク上でのプライバシーに関する一般的な分散制約付きオンライン学習問題に対処する。
本稿では, DPSDA-C と DPSDA-PS という2つのアルゴリズムを提案する。
理論的結果は、目的関数が凸であるときに、両方のアルゴリズムが $mathcalO( sqrtT )$ で期待される後悔の上限に達することを示している。
- 参考スコア（独自算出の注目度）: 7.5585719185840485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We deal with a general distributed constrained online learning problem with
privacy over time-varying networks, where a class of nondecomposable objectives
are considered. Under this setting, each node only controls a part of the
global decision, and the goal of all nodes is to collaboratively minimize the
global cost over a time horizon $T$ while guarantees the security of the
transmitted information. For such problems, we first design a novel generic
algorithm framework, named as DPSDA, of differentially private distributed
online learning using the Laplace mechanism and the stochastic variants of dual
averaging method. Note that in the dual updates, all nodes of DPSDA employ the
noise-corrupted gradients for more generality. Then, we propose two algorithms,
named as DPSDA-C and DPSDA-PS, under this framework. In DPSDA-C, the nodes
implement a circulation-based communication in the primal updates so as to
alleviate the disagreements over time-varying undirected networks. In addition,
for the extension to time-varying directed ones, the nodes implement the
broadcast-based push-sum dynamics in DPSDA-PS, which can achieve average
consensus over arbitrary directed networks. Theoretical results show that both
algorithms attain an expected regret upper bound in $\mathcal{O}( \sqrt{T} )$
when the objective function is convex, which matches the best utility
achievable by cutting-edge algorithms. Finally, numerical experiment results on
both synthetic and real-world datasets verify the effectiveness of our
algorithms.
- Abstract（参考訳）: 我々は,非互換性目的のクラスが考慮される時間的変動ネットワーク上のプライバシに関する,一般的な分散制約付きオンライン学習問題に対処する。
この設定では、各ノードはグローバルな決定の一部のみを制御し、すべてのノードの目標は、送信された情報のセキュリティを確保しながら、時間的水平線上でのグローバルなコストを協力的に最小化することである。
このような問題に対して,我々はまず,laplace機構とdual averaging法の確率的変種を用いた分散分散オンライン学習のための,dpsdaと呼ばれる新しい汎用アルゴリズムフレームワークを設計した。
二重更新では、DPSDAの全てのノードはより一般化するためにノイズ崩壊勾配を用いる。
そこで本稿では, DPSDA-C と DPSDA-PS という2つのアルゴリズムを提案する。
DPSDA-Cでは、ノードはプリミティブ更新で循環ベースの通信を実装し、時間変化のないネットワークに対する不一致を軽減する。
さらに、時間変化のある有向ネットワークへの拡張のために、ノードはDPSDA-PSにブロードキャストベースのプッシュサムダイナミクスを実装し、任意の有向ネットワークに対する平均コンセンサスを実現する。
理論的には、どちらのアルゴリズムも、目的関数が凸であるときに$\mathcal{o}( \sqrt{t} )$ で期待された上限に達することが示されている。
最後に,合成データと実世界データの両方における数値実験の結果から,アルゴリズムの有効性を検証した。
関連論文リスト
- Decentralized Multi-Task Online Convex Optimization Under Random Link
Failures [5.513958040574729]
我々は不均一な確率を持つランダムリンク障害に対する頑健な分散型サドルポイントアルゴリズムを開発した。
我々はアルゴリズムと分析を2点の帯域フィードバックシナリオに拡張する。
論文 参考訳（メタデータ） (2024-01-04T00:57:33Z) - Network-GIANT: Fully distributed Newton-type optimization via harmonic
Hessian consensus [2.8617826964327113]
本稿では,GIANTに基づくNewton型完全分散最適化アルゴリズムであるNetwork-GIANTを紹介する。
このアルゴリズムは,強い凸関数と滑らかな損失関数を仮定して,ネットワーク上の厳密解に対する半言語的および指数的収束を保証する。
我々は,Network-DANEやNewton-Raphson Consensusのような最先端の分散学習アルゴリズムに比べて,Network-GIANTの収束性能が優れていることを示す実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-05-13T11:42:40Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - Decentralized Multi-Task Stochastic Optimization With Compressed
Communications [22.31884634659446]
本稿では,ノードにおけるローカル情報可用性の2つのモデルに対して,アルゴリズムを開発し,性能バウンダリを求める。
グローバルな最小値からの逸脱と制約の違反は$mathcalO(T-frac12)$と$mathcalO(T-frac14)$によって上界されることを示す。
論文 参考訳（メタデータ） (2021-12-23T05:54:42Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳（メタデータ） (2021-06-15T09:03:28Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Resource Allocation via Model-Free Deep Learning in Free Space Optical
Communications [119.81868223344173]
本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。
本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-27T17:38:51Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Fully Asynchronous Policy Evaluation in Distributed Reinforcement
Learning over Networks [14.636457985379746]
本稿では,有向ピアツーピアネットワーク上での分散強化学習(DisRL)のポリシー評価問題に対する非同期手法を提案する。
ネットワークの他のノードを待つことなく、各ノードは隣人からの(おそらく遅れた)情報を使用して、いつでもローカルに値関数を更新できる。
論文 参考訳（メタデータ） (2020-03-01T08:12:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。