論文の概要: Leveraging tails for adaptation

• arxiv url: http://arxiv.org/abs/2606.20480v2
• Date: Fri, 19 Jun 2026 08:00:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-23 13:41:31.043161
• Title: Leveraging tails for adaptation
• Title（参考訳）: 適応のためのレバレッジテール
• Authors: Sergios Agapiou, Ismaël Castillo, Paul Egels,
• Abstract要約: 非パラメトリックな環境下でのベイズ的後続分布の収縮について考察する。 契約率は、$p$が減少するにつれて改善することを示す。 特に、過パラメータの浅いReLUネットワークは、任意の正則性に対して0le le 2$に適応できることを示す。
• 参考スコア（独自算出の注目度）: 0.5352699766206809
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider contraction of Bayesian posterior distributions in nonparametric settings where coefficients of a function over a basis or dictionary are given priors with $p$--exponential tails, including Laplace tails $(p=1)$ and heavier tails $(p<1)$. It is shown that contraction rates improve as $p$ decreases and that full adaptation to smoothness, up to logarithmic factors, is obtained in an appropriate $p\to 0$ regime. As applications, we consider both series priors in white noise regression and shallow ReLU neural networks in random design regression. In particular, we show that overparametrised shallow ReLU networks can adapt to any regularity $0\le β\le 2$. Through a simulation study, we show strong empirical agreement with the behavior predicted by our theory.
• Abstract（参考訳）: 基底や辞書上の関数の係数が、Laplace tails $(p=1)$ および重み $(p<1)$ を含む指数的テールを持つ事前に与えられるような非パラメトリックな条件下で、ベイズ的後続分布の縮約を考える。 縮約率は、p$が減少するにつれて改善し、対数因子まで滑らか性への完全な適応は、適切な$p\to 0$レジームで得られることが示されている。 応用例として、ホワイトノイズ回帰における系列先行と、ランダム設計回帰における浅いReLUニューラルネットワークについて考察する。 特に、過パラメータの浅いReLUネットワークは任意の正則性$0\le β\le 2$に適応できることを示す。 シミュレーション研究を通じて、我々は我々の理論によって予測される行動と強い経験的一致を示す。

関連論文リスト

• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Parametric Mean-Field empirical Bayes in high-dimensional linear regression [8.197187859375694]
  経験的ベイズ推定器(vEB)の急激な位相遷移挙動を特徴付ける。 第1の体制では、推定された事前値を校正して、有効な座標ワイドおよび非局所化推論を可能にする方法を示す。 第2の体制では,vEB推定器の性能向上のためのデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2026-01-23T15:44:01Z)
• Tail Distribution of Regret in Optimistic Reinforcement Learning [3.9962751777898955]
  累積的後悔$R_K$ over $K$ エピソードのテール分布を,期待値や単一高確率量子化ではなく,特徴付ける。 提案したアルゴリズムは、期待される後悔と、その後悔がガウス以下の尾を示す範囲のバランスをとるチューニングパラメータ$$に依存する。
  論文  参考訳（メタデータ） (2025-11-23T02:23:09Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Analysis of the expected $L_2$ error of an over-parametrized deep neural network estimate learned by gradient descent without regularization [7.977229957867868]
  近年の研究では、正規化された経験的リスクに勾配降下を適用して学習した過度パラメータ化されたディープニューラルネットワークによって定義される推定値が、普遍的に一貫していることが示されている。 本稿では、同様の結果を得るために正規化項は必要ないことを示す。
  論文  参考訳（メタデータ） (2023-11-24T17:04:21Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布推定が消失することを示し,推定分布が急速に平均に崩壊することを実証的に観察した。 我々は,$L$の学習効率に感化され,効率のよい学習方法として,返却分布の期待値と量子値を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)
• Nonparametric regression with modified ReLU networks [77.34726150561087]
  ネットワーク重み行列を入力ベクトルに乗じる前に,まず関数$alpha$で修正したReLUニューラルネットワークによる回帰推定を考察する。
  論文  参考訳（メタデータ） (2022-07-17T21:46:06Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。