論文の概要: Learner-Private Online Convex Optimization
- arxiv url: http://arxiv.org/abs/2102.11976v1
- Date: Tue, 23 Feb 2021 23:00:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-25 13:35:26.790003
- Title: Learner-Private Online Convex Optimization
- Title（参考訳）: Learner-Private Online Convex Optimization
- Authors: Jiaming Xu, Kuang Xu and Dana Yang
- Abstract要約: オンライン凸最適化において,学習者のクエリを最適に難読化する方法について検討する。
本結果は,全次フィードバックを持つ一般凸関数のよりリッチなファミリに適用できる。
- 参考スコア（独自算出の注目度）: 24.204781914017758
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online convex optimization is a framework where a learner sequentially
queries an external data source in order to arrive at the optimal solution of a
convex function. The paradigm has gained significant popularity recently thanks
to its scalability in large-scale optimization and machine learning. The
repeated interactions, however, expose the learner to privacy risks from
eavesdropping adversary that observe the submitted queries. In this paper, we
study how to optimally obfuscate the learner's queries in first-order online
convex optimization, so that their learned optimal value is provably difficult
to estimate for the eavesdropping adversary. We consider two formulations of
learner privacy: a Bayesian formulation in which the convex function is drawn
randomly, and a minimax formulation in which the function is fixed and the
adversary's probability of error is measured with respect to a minimax
criterion. We show that, if the learner wants to ensure the probability of
accurate prediction by the adversary be kept below $1/L$, then the overhead in
query complexity is additive in $L$ in the minimax formulation, but
multiplicative in $L$ in the Bayesian formulation. Compared to existing
learner-private sequential learning models with binary feedback, our results
apply to the significantly richer family of general convex functions with
full-gradient feedback. Our proofs are largely enabled by tools from the theory
of Dirichlet processes, as well as more sophisticated lines of analysis aimed
at measuring the amount of information leakage under a full-gradient oracle.
- Abstract（参考訳）: オンライン凸最適化は、学習者が凸関数の最適解に到達するために外部データソースを順次クエリするフレームワークである。
このパラダイムは、大規模最適化と機械学習のスケーラビリティのおかげで、最近大きな人気を集めている。
しかし、繰り返し行われるインタラクションは、送信されたクエリを観察する盗聴敵からのプライバシーリスクを学習者に暴露します。
本論文では,学習者の質問を一階オンライン凸最適化において最適に難読化する方法を検討し,学習者の学習した最適値は,盗聴相手の推定が困難であることを示す。
学習者のプライバシの定式化は,凸関数をランダムに描画するベイズ式と,その関数を固定した最小値の定式化と,逆の誤差確率を最小値の基準で測定する最小値の定式化である。
我々は、学習者が敵対者による正確な予測の確率を1ドル/L$以下に保ちたい場合、クエリの複雑さのオーバーヘッドは、ミニマックス製剤では$L$に加算されるが、ベイズ製剤では$L$に乗算されることを示した。
従来の2元フィードバックの学習者-個人学習モデルと比較すると,本研究は,完全フィードバックを持つ一般凸関数のかなりリッチなファミリーに適用できる。
私たちの証明は、dirichletプロセスの理論によるツールと、完全なoracleの下での情報漏洩量を測定するためのより洗練された分析ラインによって、主に実現されています。
関連論文リスト
- Forecasting Outside the Box: Application-Driven Optimal Pointwise Forecasts for Stochastic Optimization [0.0]
本稿では,未知の状況の最適近似を導出する統合学習と最適化手法を提案する。
文献の在庫問題と実データを用いた自転車共有問題から得られた数値結果から,提案手法が有効であることを示す。
論文 参考訳（メタデータ） (2024-11-05T21:54:50Z) - Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。
本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文 参考訳（メタデータ） (2024-06-28T02:56:22Z) - LP++: A Surprisingly Strong Linear Probe for Few-Shot CLIP [20.86307407685542]
リニアプローブ(LP)は、数発のCLIP適応の弱いベースラインとしてしばしば報告されている。
本研究では,コンベックス最適化の観点から標準LPベースラインの一般化について検討する。
我々の画像言語目的関数は、これらの非自明な最適化の洞察や成分とともに、驚くほど、競争力の高いCLIPパフォーマンスをもたらす。
論文 参考訳（メタデータ） (2024-04-02T20:23:10Z) - Non-Convex Robust Hypothesis Testing using Sinkhorn Uncertainty Sets [18.46110328123008]
非破壊仮説テスト問題に対処する新しい枠組みを提案する。
目標は、最大数値リスクを最小限に抑える最適な検出器を探すことである。
論文 参考訳（メタデータ） (2024-03-21T20:29:43Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-08T16:06:29Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳（メタデータ） (2023-07-17T09:55:35Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Differential Privacy for Pairwise Learning: Non-convex Analysis [16.815470316398326]
ペアワイズ学習は、ペアワイズ損失関数との学習関係に焦点を当てる。
ペアワイズ学習のプライバシを分析し,摂動に対する新しい差分プライバシパラダイムを提案する。
論文 参考訳（メタデータ） (2021-05-07T02:20:23Z) - Optimal Query Complexity of Secure Stochastic Convex Optimization [17.35823773611766]
安全凸最適化問題について検討する。
学習者は(確率的な)勾配を逐次クエリすることで凸関数の最適点を学習することを目指している。
その間,学習者の学習結果を学習者のクエリを観察することから解放し,推論することを目的とした敵が存在する。
論文 参考訳（メタデータ） (2021-04-05T14:10:26Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - Provably Efficient Reward-Agnostic Navigation with Linear Value
Iteration [143.43658264904863]
我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。
そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
論文 参考訳（メタデータ） (2020-08-18T04:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。