論文の概要: PAC-Bayesian Based Adaptation for Regularized Learning

• arxiv url: http://arxiv.org/abs/2204.07856v1
• Date: Sat, 16 Apr 2022 18:32:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 05:34:56.675483
• Title: PAC-Bayesian Based Adaptation for Regularized Learning
• Title（参考訳）: PAC-Bayesianによる正規化学習適応
• Authors: Prem Talwai, David Simchi-Levi
• Abstract要約: 本研究では,Hilbertスケールにおける適応正規化回帰のためのPAC-Bayesian textita reariパラメータ選択法を提案する。 我々は,Tikhonov-regularized Learning問題の新しいクラスに対して,一般的な不特定音源条件下での最小適応率を導出する。
• 参考スコア（独自算出の注目度）: 13.680949377743392
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a PAC-Bayesian \textit{a posteriori} parameter selection scheme for adaptive regularized regression in Hilbert scales under general, unknown source conditions. We demonstrate that our approach is adaptive to misspecification, and achieves the optimal learning rate under subgaussian noise. Unlike existing parameter selection schemes, the computational complexity of our approach is independent of sample size. We derive minimax adaptive rates for a new, broad class of Tikhonov-regularized learning problems under general, misspecified source conditions, that notably do not require any conventional a priori assumptions on kernel eigendecay. Using the theory of interpolation, we demonstrate that the spectrum of the Mercer operator can be inferred in the presence of "tight" $L^{\infty}$ embeddings of suitable Hilbert scales. Finally, we prove, that under a $\Delta_2$ condition on the smoothness index functions, our PAC-Bayesian scheme can indeed achieve minimax rates. We discuss applications of our approach to statistical inverse problems and oracle-efficient contextual bandit algorithms.
• Abstract（参考訳）: 本稿では,一般の未知情報源条件下でのヒルベルトスケールにおける適応正規化回帰に対するpac-bayesian \textit{a posteriori}パラメータ選択スキームを提案する。 提案手法は誤特定に適応し, サブガウス雑音下での最適学習率を実現する。 既存のパラメータ選択方式とは異なり,提案手法の計算複雑性はサンプルサイズに依存しない。 我々は,Tikhonov-regularized learningの新たなクラスに対して,カーネル固有デカイに関する従来の前提前提を特に必要としない,不特定ソース条件下での最小値適応率を導出する。 補間理論を用いて、メルサー作用素のスペクトルが適切なヒルベルトスケールの埋め込みとして "tight" $L^{\infty}$の存在下で推論可能であることを示す。 最後に、滑らか性指数関数上の$\delta_2$条件の下では、pac-ベイズスキームが実際にミニマックスレートを達成できることを証明します。 統計的逆問題とoracle効率のよいコンテクストバンディットアルゴリズムへのアプローチの適用について論じる。

関連論文リスト

• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Statistical Inverse Problems in Hilbert Scales [0.0]
  一般雑音を伴う非線形統計逆問題に対するヒルベルトスケールにおけるチコノフ正則化スキームについて検討する。 このスキームの正規化ノルムはヒルベルト空間のノルムよりも強い。
  論文  参考訳（メタデータ） (2022-08-28T21:06:05Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• On the Universality of the Double Descent Peak in Ridgeless Regression [0.0]
  リッジレス線形回帰におけるラベルノイズに起因する平均2乗誤差の非漸近分布非依存的下界を証明した。 我々の下界は、過大化(補間)体制と同じような既知の結果を一般化する。
  論文  参考訳（メタデータ） (2020-10-05T08:30:25Z)
• Stochastic Gradient Descent in Hilbert Scales: Smoothness, Preconditioning and Earlier Stopping [0.0]
  我々は、カーネルヒルベルト空間(RKHS)の再現における最小二乗学習を検討し、古典的なSGD解析をヒルベルトスケールの学習環境にまで拡張する。 十分に特定されたモデルであっても、従来のベンチマークスムーズ性仮定の違反は学習率に大きな影響を及ぼすことを示す。 さらに、ミス特定モデルに対しては、適切なヒルベルトスケールでのプレコンディショニングが反復回数を減らすのに役立つことを示す。
  論文  参考訳（メタデータ） (2020-06-18T20:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。