論文の概要: Private Isotonic Regression
- arxiv url: http://arxiv.org/abs/2210.15175v1
- Date: Thu, 27 Oct 2022 05:08:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 13:36:38.697930
- Title: Private Isotonic Regression
- Title(参考訳): プライベートイソトニック回帰
- Authors: Badih Ghazi and Pritish Kamath and Ravi Kumar and Pasin Manurangsi
- Abstract要約: 部分順序集合 (poset) $mathcalX$ と任意のリプシッツ損失関数に対する等調回帰の問題を考察する。
約$mathrmwidth(mathcalX) cdot log|mathcalX| / n$, ここで$mathrmwidth(mathcalX)$はポーズの幅である。
上記の境界は本質的に最良であることを示す。
- 参考スコア(独自算出の注目度): 54.32252900997422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we consider the problem of differentially private (DP)
algorithms for isotonic regression. For the most general problem of isotonic
regression over a partially ordered set (poset) $\mathcal{X}$ and for any
Lipschitz loss function, we obtain a pure-DP algorithm that, given $n$ input
points, has an expected excess empirical risk of roughly
$\mathrm{width}(\mathcal{X}) \cdot \log|\mathcal{X}| / n$, where
$\mathrm{width}(\mathcal{X})$ is the width of the poset. In contrast, we also
obtain a near-matching lower bound of roughly $(\mathrm{width}(\mathcal{X}) +
\log |\mathcal{X}|) / n$, that holds even for approximate-DP algorithms.
Moreover, we show that the above bounds are essentially the best that can be
obtained without utilizing any further structure of the poset.
In the special case of a totally ordered set and for $\ell_1$ and $\ell_2^2$
losses, our algorithm can be implemented in near-linear running time; we also
provide extensions of this algorithm to the problem of private isotonic
regression with additional structural constraints on the output function.
- Abstract(参考訳): 本稿では,等方性回帰に対する差分プライベート(DP)アルゴリズムの問題点について考察する。
部分順序集合 (poset) $\mathcal{X}$ と任意のリプシッツ損失関数に対するイソトニック回帰の最も一般的な問題に対して、$n$の入力点が与えられたとき、約$\mathrm{width}(\mathcal{X}) \cdot \log|\mathcal{X}| / n$ の過剰な経験的リスクが期待される純粋DPアルゴリズムを得る。
対照的に、およそ$(\mathrm{width}(\mathcal{X}) + \log |\mathcal{X}|) / n$ の近似DPアルゴリズムに対しても、ほぼ一致する下界も得られる。
さらに, 上記の境界は, ポゼットのさらなる構造を使わずに得られる最良値であることを示す。
完全順序集合の特別な場合と$\ell_1$ と $\ell_2^2$ の損失の場合、このアルゴリズムは線形に近い実行時間で実装できる。
関連論文リスト
- Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳(メタデータ) (2023-07-24T14:37:22Z) - Efficient Rate Optimal Regret for Adversarial Contextual MDPs Using
Online Function Approximation [47.18926328995424]
我々は,敵対的文脈 MDP における後悔最小化のためのOMG-CMDP!アルゴリズムを提案する。
我々のアルゴリズムは効率的であり(効率的なオンライン回帰オラクルを仮定する)、近似誤差に対して単純で堅牢である。
論文 参考訳(メタデータ) (2023-03-02T18:27:00Z) - Refined Regret for Adversarial MDPs with Linear Function Approximation [50.00022394876222]
我々は,損失関数が約1,300ドル以上のエピソードに対して任意に変化するような,敵対的決定過程(MDP)の学習を検討する。
本稿では,同じ設定で$tildemathcal O(K2/3)$に対する後悔を改善する2つのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-30T14:37:21Z) - Eluder-based Regret for Stochastic Contextual MDPs [43.19667415823089]
文脈マルコフ決定過程(CMDP)における後悔最小化のためのE-UC$3$RLアルゴリズムを提案する。
我々のアルゴリズムは効率的であり(効率的なオフライン回帰オラクルを仮定すると)、$ widetildeO(H3 sqrtT |S| |A|d_mathrmE(mathcalP)$の後悔の保証を享受する。
論文 参考訳(メタデータ) (2022-11-27T20:38:47Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳(メタデータ) (2022-06-17T17:55:43Z) - Sketching Algorithms and Lower Bounds for Ridge Regression [65.0720777731368]
リッジ回帰問題に対する1+varepsilon$近似解を計算するスケッチベース反復アルゴリズムを提案する。
また,このアルゴリズムがカーネルリッジ回帰の高速化に有効であることを示す。
論文 参考訳(メタデータ) (2022-04-13T22:18:47Z) - The Fine-Grained Hardness of Sparse Linear Regression [12.83354999540079]
この問題に対して、より優れたブルートフォースアルゴリズムは存在しないことを示す。
また,予測誤差が測定された場合,より優れたブラトフォースアルゴリズムが不可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T14:19:43Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳(メタデータ) (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。