論文の概要: Near-Optimal Model Discrimination with Non-Disclosure

• arxiv url: http://arxiv.org/abs/2012.02901v2
• Date: Sun, 13 Dec 2020 04:56:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 21:41:12.200183
• Title: Near-Optimal Model Discrimination with Non-Disclosure
• Title（参考訳）: 非開示型近最適モデル識別
• Authors: Dmitrii M. Ostrovskii, Mohamed Ndaoud, Adel Javanmard, Meisam Razaviyayn
• Abstract要約: まず、二乗損失を持つよく特定された線形モデルについて考察する。 類似した形態のサンプルの複雑さは、たとえ不特定であっても引き起こされる。
• 参考スコア（独自算出の注目度）: 19.88145627448243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Let $\theta_0,\theta_1 \in \mathbb{R}^d$ be the population risk minimizers associated to some loss $\ell: \mathbb{R}^d \times \mathcal{Z} \to \mathbb{R}$ and two distributions $\mathbb{P}_0,\mathbb{P}_1$ on $\mathcal{Z}$. We pose the following question: Given i.i.d. samples from $\mathbb{P}_0$ and $\mathbb{P}_1$, what sample sizes are sufficient and necessary to distinguish between the two hypotheses $\theta^* = \theta_0$ and $\theta^* = \theta_1$ for given $\theta^* \in \{\theta_0, \theta_1\}$? Making the first steps towards answering this question in full generality, we first consider the case of a well-specified linear model with squared loss. Here we provide matching upper and lower bounds on the sample complexity, showing it to be $\min\{1/\Delta^2, \sqrt{r}/\Delta\}$ up to a constant factor, where $\Delta$ is a measure of separation between $\mathbb{P}_0$ and $\mathbb{P}_1$, and $r$ is the rank of the design covariance matrix. This bound is dimension-independent, and rank-independent for large enough separation. We then extend this result in two directions: (i) for the general parametric setup in asymptotic regime; (ii) for generalized linear models in the small-sample regime $n \le r$ and under weak moment assumptions. In both cases, we derive sample complexity bounds of a similar form, even under misspecification. Our testing procedures only access $\theta^*$ through a certain functional of empirical risk. In addition, the number of observations that allows to reach statistical confidence in our tests does not allow to "resolve" the two models -- that is, recover $\theta_0,\theta_1$ up to $O(\Delta)$ prediction accuracy. These two properties allow to apply our framework in applied tasks where one would like to \textit{identify} a prediction model, which can be proprietary, while guaranteeing that the model cannot be actually \textit{inferred} by the identifying agent.
• Abstract（参考訳）: $\theta_0,\theta_1 \in \mathbb{R}^d$ を、ある損失に付随する集団リスク最小値 $\ell: \mathbb{R}^d \times \mathcal{Z} \to \mathbb{R}$ と、2つの分布 $\mathbb{P}_0,\mathbb{P}_1$ とする。 i.i.d.を与えられたとき、次の疑問が浮かび上がる。 $\theta^* = \theta_0$ と $\theta_* = \theta_1$ の2つの仮説を区別するのに必要なサンプルサイズは、$\theta^* \in \{\theta_0, \theta_1\}$ と $\theta_* = \theta_1$ の2つである。 この問いに完全一般性で答える最初のステップとして、まずは二乗損失のある定式化された線形モデルの場合を考える。 ここでは、サンプル複雑性の上限値と下限値に一致し、$\min\{1/\Delta^2, \sqrt{r}/\Delta\}$を定数係数まで示し、$\Delta$ は $\mathbb{P}_0$ と $\mathbb{P}_1$ の分離の尺度であり、$r$ は設計共分散行列のランクである。 この境界は次元独立であり、大きな分離のために階数独立である。 次に、この結果を2つの方向に拡張する: (i) 漸近レジームにおける一般パラメトリックな設定; (ii) 小さいサンプルレジームの一般化線型モデルに対して $n \le r$ と弱いモーメント仮定の下で。 どちらの場合も、同じ形式のサンプル複雑性境界を、たとえ誤った特定の下でも導出する。 テスト手順は経験的リスクの特定の機能を通じて$\theta^*$にしかアクセスできません。 さらに、我々のテストで統計的信頼性に達することができる観測回数は、2つのモデルの「解決」を許さない。つまり、$\theta_0,\theta_1$から$O(\Delta)$予測精度を回復する。 これら2つの特性により、プロプライエタリな予測モデルである \textit{identify} を希望する応用タスクで、モデルが実際に識別エージェントによって \textit{inferred} にならないことを保証します。

関連論文リスト

• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• A random matrix model for random approximate $t$-designs [1.534667887016089]
  任意の$t$に対して$delta(nu_mathcalS,t)$の確率分布を記述するためにランダム行列モデルを提案する。 我々のモデルはいわゆるスペクトルギャップ予想を満足していること、すなわち、$sup が $tinmathbbZ_+$ であること、すなわち $sup が $tinmathbbZ_+delta(k)=delta(t)$ であることを示す。
  論文  参考訳（メタデータ） (2022-10-14T14:50:06Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Mean Estimation in High-Dimensional Binary Markov Gaussian Mixture Models [12.746888269949407]
  2進隠れマルコフモデルに対する高次元平均推定問題を考える。 ほぼ最小限の誤差率(対数係数まで)を $|theta_*|,delta,d,n$ の関数として確立する。
  論文  参考訳（メタデータ） (2022-06-06T09:34:04Z)
• Universality of empirical risk minimization [12.764655736673749]
  例えば、$boldsymbol x_i inmathbbRp$ が特徴ベクトルで $y in mathbbR$ がラベルであるような i.d. サンプルからの教師付き学習を考える。 我々は$mathsfkによってパラメータ化される関数のクラスに対する経験的リスク普遍性について研究する。
  論文  参考訳（メタデータ） (2022-02-17T18:53:45Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
  関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
  論文  参考訳（メタデータ） (2021-09-06T14:21:43Z)
• Optimal Mean Estimation without a Variance [103.26777953032537]
  本研究では,データ生成分布の分散が存在しない環境での重み付き平均推定問題について検討する。 最小の信頼区間を$n,d,delta$の関数として得る推定器を設計する。
  論文  参考訳（メタデータ） (2020-11-24T22:39:21Z)
• Efficient Statistics for Sparse Graphical Models from Truncated Samples [19.205541380535397]
  i) スパースガウス図形モデルの推論と (ii) スパース線形モデルの回復支援の2つの基本的問題と古典的問題に焦点をあてる。 疎線型回帰については、$(bf x,y)$ が生成されるが、$y = bf xtopOmega* + MathcalN(0,1)$ と $(bf x, y)$ は、truncation set $S subseteq mathbbRd$ に属する場合にのみ見られる。
  論文  参考訳（メタデータ） (2020-06-17T09:21:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。