論文の概要: A new approach to locally adaptive polynomial regression
- arxiv url: http://arxiv.org/abs/2412.19802v2
- Date: Tue, 20 May 2025 14:35:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 14:49:51.647
- Title: A new approach to locally adaptive polynomial regression
- Title(参考訳): 局所適応多項式回帰の新しいアプローチ
- Authors: Sabyasachi Chatterjee, Subhajit Goswami, Soumendu Sundar Mukherjee,
- Abstract要約: 本稿では,$ell_$-penalized回帰の最適基準に着想を得た新しい帯域幅選択手法を提案する。
帯域幅選択法に基づいて局所回帰手法の非適応的リスク境界を求める。
上記の局所適応度が持つ各ケースにおいて、大域的チューニングパラメータの理想的な選択が1つ存在することを示す。
- 参考スコア(独自算出の注目度): 5.926203312586109
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adaptive bandwidth selection is a fundamental challenge in nonparametric regression. This paper introduces a new bandwidth selection procedure inspired by the optimality criteria for $\ell_0$-penalized regression. Although similar in spirit to Lepski's method and its variants in selecting the largest interval satisfying an admissibility criterion, our approach stems from a distinct philosophy, utilizing criteria based on $\ell_2$-norms of interval projections rather than explicit point and variance estimates. We obtain non-asymptotic risk bounds for the local polynomial regression methods based on our bandwidth selection procedure which adapt (near-)optimally to the local H\"{o}lder exponent of the underlying regression function simultaneously at all points in its domain. Furthermore, we show that there is a single ideal choice of a global tuning parameter in each case under which the above-mentioned local adaptivity holds. The optimal risks of our methods derive from the properties of solutions to a new ``bandwidth selection equation'' which is of independent interest. We believe that the principles underlying our approach provide a new perspective to the classical yet ever relevant problem of locally adaptive nonparametric regression.
- Abstract(参考訳): 適応帯域選択は非パラメトリック回帰の基本的な課題である。
本稿では,$\ell_0$-penalized回帰の最適基準に着想を得た新しい帯域幅選択手法を提案する。
レプスキーの方法と、許容基準を満たす最大の区間を選択する際の変種に類似しているが、我々のアプローチは、明示的な点や偏差推定ではなく、区間射影の$$$\ell_2$-normsに基づく基準を利用して、異なる哲学から導かれる。
我々は,その領域のすべての点において,基礎となる回帰関数の局所H\"{o}lder指数に最適に適応する帯域幅選択法に基づいて,局所多項式回帰法の非漸近的リスク境界を求める。
さらに、上記の局所適応度が持つ各ケースにおいて、大域的チューニングパラメータの1つの理想的な選択が存在することを示す。
我々の手法の最適リスクは、独立な興味を持つ新しい「帯域選択方程式」の解の性質から導かれる。
我々は、我々のアプローチの根底にある原理が、局所適応的非パラメトリック回帰の古典的かついつまでも関連する問題に対する新たな視点をもたらすと信じている。
関連論文リスト
- Integrated Subset Selection and Bandwidth Estimation Algorithm for Geographically Weighted Regression [0.6642919568083928]
本研究では,地理的重み付き回帰における可変部分集合帯域幅推定を統合的に選択するための数学的アルゴリズムを提案する。
提案アルゴリズムは,安定な空間変化パターンを持つ競合的説明力を提供し,最適な部分集合を選択し,追加制約を考慮できることを示す。
論文 参考訳(メタデータ) (2025-03-21T15:57:59Z) - GeneralizeFormer: Layer-Adaptive Model Generation across Test-Time Distribution Shifts [58.95913531746308]
テスト時間領域の一般化の問題は、モデルが複数のソースドメインで訓練され、トレーニング中に見たことのないターゲットドメインで調整される場合である。
textitGeneralizeFormer と呼ばれる軽量メタ学習変換器を用いて,推論中に複数の層パラメータを生成することを提案する。
論文 参考訳(メタデータ) (2025-02-15T10:10:49Z) - Robust Local Polynomial Regression with Similarity Kernels [0.0]
局所多項式回帰(Local Polynomial Regression, LPR)は、複雑な関係をモデル化するための非パラメトリックな手法である。
データの局所化部分集合に低度重みを付け、近接して重み付けすることで回帰関数を推定する。
従来のLPRは外れ値や高平均点に敏感であり、推定精度に大きな影響を及ぼす可能性がある。
本稿では,予測変数と応答変数の両方を重み付け機構に組み込んだ新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-01-18T11:21:26Z) - Adaptive Conformal Inference by Betting [51.272991377903274]
データ生成プロセスについて仮定することなく適応型共形推論の問題を考察する。
適応型共形推論のための既存のアプローチは、オンライン勾配勾配の変種を用いたピンボール損失の最適化に基づいている。
本稿では,パラメータフリーなオンライン凸最適化手法を利用した適応型共形推論手法を提案する。
論文 参考訳(メタデータ) (2024-12-26T18:42:08Z) - Minmax Trend Filtering: A Locally Adaptive Nonparametric Regression Method via Pointwise Min Max Optimization [4.07926531936425]
文学における局所的な適応性の定義について、全会一致で合意されていないようである。
まず, パーナライズされた局所平均のmin-max/max-min最適化の観点から, ファセットラッソ推定器の新しい点式を導出する。
次に、ペナル化局所回帰の min-max/max-min 最適化の観点から、ポイントワイズで定義されるFused Lasso の高次バージョンを提案する。
論文 参考訳(メタデータ) (2024-10-03T23:15:35Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳(メタデータ) (2024-07-11T13:28:34Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳(メタデータ) (2023-11-08T00:10:21Z) - Adaptive and non-adaptive minimax rates for weighted Laplacian-eigenmap
based nonparametric regression [14.003044924094597]
重み付きラプラシアン・固有写像に基づく非パラメトリック回帰法の一群に対する適応的および非適応的収束率を示す。
論文 参考訳(メタデータ) (2023-10-31T20:25:36Z) - Efficient Federated Learning via Local Adaptive Amended Optimizer with
Linear Speedup [90.26270347459915]
そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。
textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
論文 参考訳(メタデータ) (2023-07-30T14:53:21Z) - Sharp Variance-Dependent Bounds in Reinforcement Learning: Best of Both
Worlds in Stochastic and Deterministic Environments [48.96971760679639]
マルコフ決定過程(MDP)の分散依存的後悔境界について検討する。
環境の微細な分散特性を特徴付けるための2つの新しい環境規範を提案する。
モデルに基づく手法では、MVPアルゴリズムの変種を設計する。
特に、この境界は極小かつ決定論的 MDP に対して同時に最適である。
論文 参考訳(メタデータ) (2023-01-31T06:54:06Z) - Online Statistical Inference for Contextual Bandits via Stochastic
Gradient Descent [10.108468796986074]
意思決定の文脈的包括的枠組みにおけるモデルパラメータのオンライン統計的推測について検討する。
本稿では,重み付き勾配勾配による決定規則の更新が可能な,オンラインおよび適応型データ収集環境のための汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-30T18:57:08Z) - Fully Stochastic Trust-Region Sequential Quadratic Programming for
Equality-Constrained Optimization Problems [62.83783246648714]
目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。
アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
論文 参考訳(メタデータ) (2022-11-29T05:52:17Z) - A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression [8.663322701649454]
大規模多重回帰に対する新しい経験的ベイズ手法を提案する。
当社のアプローチでは、フレキシブルな"適応縮小"と変分近似の2つの主要なアイデアが組み合わさっている。
提案手法では, 後進平均値がペナル化回帰問題を解く。
論文 参考訳(メタデータ) (2022-08-23T12:42:57Z) - Provably tuning the ElasticNet across instances [53.0518090093538]
我々は、複数の問題インスタンスにまたがるリッジ回帰、LASSO、ElasticNetの正規化パラメータをチューニングする問題を考察する。
我々の結果は、この重要な問題に対する学習理論による最初の一般的な保証である。
論文 参考訳(メタデータ) (2022-07-20T21:22:40Z) - Benign overfitting and adaptive nonparametric regression [71.70323672531606]
本研究では,データポイントを高い確率で補間する連続関数である推定器を構築する。
我々は未知の滑らかさに適応してH"古いクラスのスケールにおいて平均2乗リスクの下で最小値の最適速度を得る。
論文 参考訳(メタデータ) (2022-06-27T14:50:14Z) - Off-Policy Evaluation with Policy-Dependent Optimization Response [90.28758112893054]
我々は,テキスト政治に依存した線形最適化応答を用いた非政治評価のための新しいフレームワークを開発した。
摂動法による政策依存推定のための非バイアス推定器を構築する。
因果介入を最適化するための一般的なアルゴリズムを提供する。
論文 参考訳(メタデータ) (2022-02-25T20:25:37Z) - Random Forest Weighted Local Fréchet Regression with Random Objects [18.128663071848923]
本稿では,新しいランダム森林重み付き局所Fr'echet回帰パラダイムを提案する。
最初の方法は、これらの重みを局所平均として、条件付きFr'echet平均を解くことである。
第二の手法は局所線形Fr'echet回帰を行い、どちらも既存のFr'echet回帰法を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-10T09:10:59Z) - Communication-Efficient Distributed Quantile Regression with Optimal
Statistical Guarantees [2.064612766965483]
本稿では,分散量子レグレッションにおいて,厳密なスケーリング条件を伴わずに最適な推論を実現する方法の課題に対処する。
この問題は、ローカル(各データソース)とグローバルな目的関数に適用される二重平滑化アプローチによって解決される。
局所的および大域的滑らか化パラメータの微妙な組み合わせに依存するにもかかわらず、量子回帰モデルは完全にパラメトリックである。
論文 参考訳(メタデータ) (2021-10-25T17:09:59Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-06-29T09:48:46Z) - AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。
有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。
このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
論文 参考訳(メタデータ) (2021-02-19T01:17:15Z) - Support estimation in high-dimensional heteroscedastic mean regression [2.28438857884398]
ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。
我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。
得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
論文 参考訳(メタデータ) (2020-11-03T09:46:31Z) - Online and Distribution-Free Robustness: Regression and Contextual
Bandits with Huber Contamination [29.85468294601847]
線形回帰と文脈的帯域幅という2つの古典的高次元オンライン学習問題を再考する。
従来の手法が失敗した場合にアルゴリズムが成功することを示す。
論文 参考訳(メタデータ) (2020-10-08T17:59:05Z) - Adaptive Online Estimation of Piecewise Polynomial Trends [23.91519151164528]
我々は,2乗誤差損失と雑音勾配フィードバックを伴う非定常最適化の枠組みを考察する。
非パラメトリック回帰理論から動機づけられた新しい変分制約を導入する。
我々は、同じ方針が、他のいくつかの非パラメトリックな関心の族に最適であることを示す。
論文 参考訳(メタデータ) (2020-09-30T19:30:28Z) - Adaptive Sampling of Pareto Frontiers with Binary Constraints Using
Regression and Classification [0.0]
本稿では,二項制約を持つブラックボックス多目的最適化問題に対する適応最適化アルゴリズムを提案する。
本手法は確率的回帰モデルと分類モデルに基づいており,最適化目標のサロゲートとして機能する。
また,予想される超体積計算を高速化するために,新しい楕円形トランケーション法を提案する。
論文 参考訳(メタデータ) (2020-08-27T09:15:02Z) - On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。
解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文 参考訳(メタデータ) (2018-08-16T20:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。