論文の概要: Aggregation with Exponential Weights is Optimal in Expectation
- arxiv url: http://arxiv.org/abs/2607.02247v1
- Date: Thu, 02 Jul 2026 14:40:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.873971
- Title: Aggregation with Exponential Weights is Optimal in Expectation
- Title（参考訳）: 指数重み付き集合は期待に最適である
- Abstract要約: 指数重み付アグリゲーション (AEW) 推定器は, 余剰リスク$T log (M) / (n+1)$を期待して達成することを示した。
AEWは一定の温度以下では最適以下であることが知られているため、AEWは温度が十分に大きいが一定である場合に急激な相転移を持つ。
- 参考スコア（独自算出の注目度）: 13.815063206114713
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The aggregation with exponential weights (AEW) estimator is not fully understood in the basic setting of model selection aggregation with squared loss. In particular, whether it is minimax-rate optimal in expectation for large enough fixed temperatures and under random design has been an open problem since its introduction, which was explicitly posed by Lecué and Mendelson (2013). In this paper, we settle this problem by showing that \emph{without} requiring a Bernstein-type assumption, the AEW indeed achieves the excess risk $T \log (M) / (n+1)$ in expectation, whenever the temperature $T$ satisfies $(L^2/T)\exp(B/T)\leq μ/2$. Here, the number of dictionary elements is $M$, the estimator has observed $n$ i.i.d. samples from any distribution, and the loss is assumed to be bounded by $B$, $L$-Lipschitz continuous and $μ$-strongly convex. For squared loss, we show that $T\geq 4 b^2$ suffices when the predictions and labels are $[0,b]$-valued. Because AEW is known to be suboptimal in expectation for temperatures below some constant, this shows that AEW has a sharp phase transition when the temperature is large enough but constant, as conjectured by Lecué and Mendelson.
- Abstract（参考訳）: 指数重み付きアグリゲーション(AEW)推定器は、正方形損失を伴うモデル選択アグリゲーションの基本設定において完全には理解されていない。
特に、それが十分に大きな温度とランダムな設計の下での予測において最小値が最適であるかどうかは、ルキューとメンデルソン (2013) によって明確に示された、導入以来、未解決の問題であった。
本稿では,ベルンシュタイン型仮定を要求された \emph{without} が,温度$T$が $(L^2/T)\exp(B/T)\leq μ/2$ を満たす場合,AEW が期待する余剰リスク $T \log (M) / (n+1)$ を達成することを示すことによって,この問題を解決する。
ここで、辞書要素の数は$M$で、推定器は任意の分布から$n$ i.d.サンプルを観察し、損失は$B$、$L$-Lipschitz連続および$μ$-strongly convexによって制限されると仮定する。
正方形損失の場合、予測とラベルが$[0,b]$-valuedのとき、$T\geq 4 b^2$ sufficesを示す。
AEWは一定の温度以下では最適以下であることが知られているため、ルキューとメンデルソンが予想したように、AEWは温度が十分に大きくても一定であるときに鋭い相転移を持つ。
関連論文リスト
- Sharp Minimax Regret for Infinite-Memory Logistic Prediction [55.29259818039367]
Lag $j$はスケール$r_j$の予測に影響を与え、$n_T,j=T-j+1$の予測ラウンドに入る。
すべての要約可能なエンベロープに対して、局所化された混合は$cR_T(r)leq C_T(r)$を証明する。
指数関数やエンベロープの場合、有限サンプル条件の下では、トープリッツ・デサインの逆は$cR_T(r)geq c_T(r)$である。
論文 参考訳（メタデータ） (2026-08-27T01:31:46Z) - Robust Statistical Estimators with Bounded Empirical Sensitivity [8.813598035063167]
統計的推定器のロバスト性に関する新しい尺度を導入し,これを経験的感度(emphempirical sensitivity)と呼ぶ。
推定器 $hat $ は、データセット $X = (X_1, dots, X_n) sim mathcalDotimes n$, for any dataset $Y$ obtained at most $n$ points in $X$ に対して、有界な経験的感度を持つ。
我々は,この境界が対数的因子に強く依存していることを示し,最近の結果を用いてロバストな経験的平均推定を行う。
論文 参考訳（メタデータ） (2026-05-21T01:13:52Z) - Sequential 1-bit Mean Estimation with Near-Optimal Sample Complexity [32.65125292684608]
1ビット通信制約を用いた分散平均推定問題について検討する。
私たちの推定器は、有界平均$-lambda le mathbbE(X) le lambda $)と変数$mathrmVar(X) le sigma2$)を持つすべてのディストリビューションに対して$(epsilon, delta)$-PACです。
論文 参考訳（メタデータ） (2025-09-26T06:22:57Z) - Estimating the size of a set using cascading exclusion [2.1665689529884697]
一般的な非漸近論が展開されている。
一般定理は、すべての場合において非パラメトリック有限$n$誤差境界を与える。
論文 参考訳（メタデータ） (2025-08-07T23:36:42Z) - Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions [11.222970035173372]
カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する
核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
論文 参考訳（メタデータ） (2024-02-23T20:51:31Z) - $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。
特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
論文 参考訳（メタデータ） (2023-09-17T01:45:13Z) - Generalized Regret Analysis of Thompson Sampling using Fractional
Posteriors [12.43000662545423]
トンプソンサンプリング(Thompson sample, TS)は、マルチアームバンディット問題を解くアルゴリズムの1つである。
TSの変種である$alpha$-TSを考え、標準的な後続分布の代わりに$alpha$-posteriorまたは$alpha$-posteriorを使用する。
論文 参考訳（メタデータ） (2023-09-12T16:15:33Z) - Near-optimal fitting of ellipsoids to random points [68.12685213894112]
楕円体をランダムな点に合わせるという基本的な問題は、低ランク行列分解、独立成分分析、主成分分析に関係している。
我々はこの予想を、ある$n = Omega(, d2/mathrmpolylog(d))$ に対する適合楕円体を構成することで対数的因子まで解決する。
我々の証明は、ある非標準確率行列の便利な分解を用いて、サンダーソン等最小二乗構成の実現可能性を示す。
論文 参考訳（メタデータ） (2022-08-19T18:00:34Z) - Polyak-Ruppert Averaged Q-Leaning is Statistically Efficient [90.14768299744792]
我々はPolyak-Ruppert 平均 Q-leaning (平均 Q-leaning) を用いた同期 Q-learning を$gamma$-discounted MDP で検討した。
繰り返し平均$barboldsymbolQ_T$に対して正規性を確立する。
要するに、我々の理論分析は、Q-Leaningの平均は統計的に効率的であることを示している。
論文 参考訳（メタデータ） (2021-12-29T14:47:56Z) - Optimal Mean Estimation without a Variance [103.26777953032537]
本研究では,データ生成分布の分散が存在しない環境での重み付き平均推定問題について検討する。
最小の信頼区間を$n,d,delta$の関数として得る推定器を設計する。
論文 参考訳（メタデータ） (2020-11-24T22:39:21Z) - Out-of-sample error estimate for robust M-estimators with convex penalty [5.33024001730262]
凸ペナルティで正規化された堅牢な$M$-estimatorsに対して、一般的なサンプル外誤差推定を提案する。
一般的な微分可能損失関数 $psi$ は $psi=rho'$ が 1-Lipschitz であるときに許される。
論文 参考訳（メタデータ） (2020-08-26T21:50:41Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。