論文の概要: Finite Sample Analysis of Distribution-Free Confidence Ellipsoids for Linear Regression
- arxiv url: http://arxiv.org/abs/2409.08801v1
- Date: Fri, 13 Sep 2024 13:10:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 16:29:18.280263
- Title: Finite Sample Analysis of Distribution-Free Confidence Ellipsoids for Linear Regression
- Title（参考訳）: 線形回帰のための分布自由信頼楕円体の有限サンプル解析
- Authors: Szabolcs Szentpéteri, Balázs Csanád Csáji,
- Abstract要約: 最小二乗(LS)推定は線形回帰問題の定型解である。
本稿では,非漸近的に保証された信頼楕円体を構築することができる分布自由符号置換和(SPS)楕円体外近似(EOA)アルゴリズムについて検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The least squares (LS) estimate is the archetypical solution of linear regression problems. The asymptotic Gaussianity of the scaled LS error is often used to construct approximate confidence ellipsoids around the LS estimate, however, for finite samples these ellipsoids do not come with strict guarantees, unless some strong assumptions are made on the noise distributions. The paper studies the distribution-free Sign-Perturbed Sums (SPS) ellipsoidal outer approximation (EOA) algorithm which can construct non-asymptotically guaranteed confidence ellipsoids under mild assumptions, such as independent and symmetric noise terms. These ellipsoids have the same center and orientation as the classical asymptotic ellipsoids, only their radii are different, which radii can be computed by convex optimization. Here, we establish high probability non-asymptotic upper bounds for the sizes of SPS outer ellipsoids for linear regression problems and show that the volumes of these ellipsoids decrease at the optimal rate. Finally, the difference between our theoretical bounds and the empirical sizes of the regions are investigated experimentally.
- Abstract（参考訳）: 最小二乗(LS)推定は線形回帰問題の定型解である。
スケールしたLS誤差の漸近的なガウス性は、LS推定値の周りの近似信頼楕円体を構成するためにしばしば用いられるが、有限サンプルの場合、これらの楕円体は雑音分布に強い仮定がない限り厳密な保証が得られない。
本稿では,非漸近的に保証された信頼楕円体を独立雑音項や対称雑音項などの軽度仮定の下で構築できる分布自由符号摂動和(SPS)楕円体外近似(EOA)アルゴリズムについて検討する。
これらの楕円体は古典的な漸近楕円体と同じ中心と配向を持ち、その半径のみが異なるので、凸最適化によって計算できる。
本稿では,線形回帰問題に対するSPS外楕円体の大きさに対する高確率非漸近上界を確立し,これらの楕円体の体積が最適速度で減少することを示す。
最後に,これらの領域の理論的境界と経験的大きさの差について実験的に検討した。
関連論文リスト
- Gaussian Approximation and Multiplier Bootstrap for Stochastic Gradient Descent [14.19520637866741]
我々は、勾配勾配のポリアック=ルパート平均的反復に対する中心極限定理において、非漸近収束率を確立する。
最適化問題に対する信頼度セットを構築するための乗算器ブートストラップの非漸近的妥当性を実証する。
論文 参考訳（メタデータ） (2025-02-10T17:49:05Z) - Sample Complexity of the Sign-Perturbed Sums Method [0.0]
Sign-Perturbed Sums (SPS) 法は真のシステムパラメータに対して正確で漸近的でない信頼領域を構成する。
一般線形回帰問題に対するSPSのサンプル複雑性について検討する。
SPS信頼領域の理論的境界と経験的サイズの違いを実験的に検討した。
論文 参考訳（メタデータ） (2024-09-02T13:18:53Z) - Learning minimal volume uncertainty ellipsoids [1.6795461001108096]
パラメータ推定問題に対する不確実性領域の学習問題を考察する。
連立ガウスデータの仮定により、最適楕円体が条件平均を中心としていることが証明される。
より実践的な場合、最適楕円体を近似計算するための微分可能な最適化手法を提案する。
論文 参考訳（メタデータ） (2024-05-03T19:11:35Z) - Sample Complexity of the Sign-Perturbed Sums Identification Method:
Scalar Case [0.0]
Sign-Perturbed Sum (SPS) は強力な有限サンプルシステム同定アルゴリズムである。
本稿では,SPS信頼区間の挙動について検討する。
論文 参考訳（メタデータ） (2024-01-28T22:44:41Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Off-policy estimation of linear functionals: Non-asymptotic theory for
semi-parametric efficiency [59.48096489854697]
観測データに基づいて線形汎関数を推定する問題は、因果推論と包帯文献の両方において標準的である。
このような手順の平均二乗誤差に対して非漸近上界を証明した。
非漸近的局所ミニマックス下限をマッチングすることにより、有限標本のインスタンス依存最適性を確立する。
論文 参考訳（メタデータ） (2022-09-26T23:50:55Z) - A gradient estimator via L1-randomization for online zero-order
optimization with two point feedback [93.57603470949266]
2つの関数評価とランダム化に基づく新しい勾配推定器を提案する。
ゼロ次オラクルの雑音に対する仮定は,ノイズのキャンセルと逆方向雑音の2種類について考察する。
我々は、問題の全てのパラメータに適応する、いつでも完全にデータ駆動のアルゴリズムを提供する。
論文 参考訳（メタデータ） (2022-05-27T11:23:57Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - Adversarial Estimation of Riesz Representers [21.510036777607397]
一般関数空間を用いてRiesz表現子を推定する逆フレームワークを提案する。
臨界半径(Critical radius)と呼ばれる抽象的な量で非漸近平均平方レートを証明し、ニューラルネットワーク、ランダムな森林、カーネルヒルベルト空間を主要なケースとして再現する。
論文 参考訳（メタデータ） (2020-12-30T19:46:57Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。