論文の概要: Distribution-Free Confidence Ellipsoids for Ridge Regression with PAC Bounds

• arxiv url: http://arxiv.org/abs/2601.13436v1
• Date: Mon, 19 Jan 2026 22:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.084046
• Title: Distribution-Free Confidence Ellipsoids for Ridge Regression with PAC Bounds
• Title（参考訳）: PAC境界を有するリッジ回帰のための分布自由信頼楕円形
• Authors: Szabolcs Szentpéteri, Balázs Csanád Csáji,
• Abstract要約: 本稿では,SPS EOAアルゴリズムを拡張して回帰を推し進め,その結果の領域サイズに対してほぼ正しい(PAC)上限を導出する。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linearly parametrized models are widely used in control and signal processing, with the least-squares (LS) estimate being the archetypical solution. When the input is insufficiently exciting, the LS problem may be unsolvable or numerically unstable. This issue can be resolved through regularization, typically with ridge regression. Although regularized estimators reduce the variance error, it remains important to quantify their estimation uncertainty. A possible approach for linear regression is to construct confidence ellipsoids with the Sign-Perturbed Sums (SPS) ellipsoidal outer approximation (EOA) algorithm. The SPS EOA builds non-asymptotic confidence ellipsoids under the assumption that the noises are independent and symmetric about zero. This paper introduces an extension of the SPS EOA algorithm to ridge regression, and derives probably approximately correct (PAC) upper bounds for the resulting region sizes. Compared with previous analyses, our result explicitly show how the regularization parameter affects the region sizes, and provide tighter bounds under weaker excitation assumptions. Finally, the practical effect of regularization is also demonstrated via simulation experiments.
• Abstract（参考訳）: 線形パラメータ化モデルは制御や信号処理に広く用いられ、最小二乗推定(LS)は古典的な解である。 入力が不十分な場合、LS問題は解けないか数値的に不安定である。 この問題は、通常リッジ回帰を伴う正規化によって解決できる。 正規化推定器は分散誤差を減少させるが、その推定の不確かさを定量化することは依然として重要である。 線形回帰の可能なアプローチは、SPS(Sign-Perturbed Sums)楕円体外近似(EOA)アルゴリズムを用いて信頼楕円体を構築することである。 SPS EOAは、ノイズが0について独立で対称であるという仮定のもと、非漸近的な信頼楕円体を構築する。 本稿では,SPS EOAアルゴリズムの拡張により回帰を推し進め,その結果の領域サイズに対してほぼ正しい(PAC)上限を導出する。 従来の分析結果と比較すると,正則化パラメータが領域サイズにどのように影響するかが明確に示され,より弱い励振仮定の下ではより厳密な境界が提供される。 最後に、正規化の実践的効果をシミュレーション実験により示す。

関連論文リスト

• Statistical Inference under Adaptive Sampling with LinUCB [15.167069362020426]
  線形帯域に対する線形上信頼境界(LinUCB)アルゴリズムは安定性という特性を満たすことを示す。 我々は、LinUCBアルゴリズムの中央極限定理を確立し、推定誤差の極限分布の正規性を確立する。
  論文  参考訳（メタデータ） (2025-11-28T21:48:18Z)
• Finite Sample Analysis of Distribution-Free Confidence Ellipsoids for Linear Regression [0.0]
  最小二乗(LS)推定は線形回帰問題の定型解である。 本稿では,非漸近的に保証された信頼楕円体を構築することができる分布自由符号置換和(SPS)楕円体外近似(EOA)アルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2024-09-13T13:10:02Z)
• Sample Complexity of the Sign-Perturbed Sums Method [0.0]
  Sign-Perturbed Sums (SPS) 法は真のシステムパラメータに対して正確で漸近的でない信頼領域を構成する。 一般線形回帰問題に対するSPSのサンプル複雑性について検討する。 SPS信頼領域の理論的境界と経験的サイズの違いを実験的に検討した。
  論文  参考訳（メタデータ） (2024-09-02T13:18:53Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
  クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。 また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2019-04-18T02:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。