論文の概要: On Optimal Interpolation In Linear Regression
- arxiv url: http://arxiv.org/abs/2110.11258v1
- Date: Thu, 21 Oct 2021 16:37:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 21:25:59.680336
- Title: On Optimal Interpolation In Linear Regression
- Title（参考訳）: 線形回帰における最適補間について
- Authors: Eduard Oravkin, Patrick Rebeschini
- Abstract要約: 線形回帰において補間する最適な方法は、応答変数において線形となる関数を使用することである。
我々は,最小ノルム補間器が最適応答-線形到達可能な補間器よりも任意に悪い一般化を行う機構を同定する。
我々は、線形データ生成モデルの下で、最適応答リニアの概念をランダムな特徴回帰に拡張する。
- 参考スコア（独自算出の注目度）: 22.310861786709538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding when and why interpolating methods generalize well has recently
been a topic of interest in statistical learning theory. However,
systematically connecting interpolating methods to achievable notions of
optimality has only received partial attention. In this paper, we investigate
the question of what is the optimal way to interpolate in linear regression
using functions that are linear in the response variable (as the case for the
Bayes optimal estimator in ridge regression) and depend on the data, the
population covariance of the data, the signal-to-noise ratio and the covariance
of the prior for the signal, but do not depend on the value of the signal
itself nor the noise vector in the training data. We provide a closed-form
expression for the interpolator that achieves this notion of optimality and
show that it can be derived as the limit of preconditioned gradient descent
with a specific initialization. We identify a regime where the minimum-norm
interpolator provably generalizes arbitrarily worse than the optimal
response-linear achievable interpolator that we introduce, and validate with
numerical experiments that the notion of optimality we consider can be achieved
by interpolating methods that only use the training data as input in the case
of an isotropic prior. Finally, we extend the notion of optimal response-linear
interpolation to random features regression under a linear data-generating
model that has been previously studied in the literature.
- Abstract（参考訳）: 補間法がうまく一般化する時期と理由を理解することは、最近統計学習理論の関心事となっている。
しかし, 補間法と最適性の概念を体系的に結合することは, 部分的にしか注目されていない。
本稿では,応答変数に線形な関数(リッジ回帰におけるベイズ最適推定器の場合)を用いて線形回帰で補間する最適な方法が何か,データに依存するか,データの集団共分散,信号対雑音比,事前の共分散について検討するが,学習データにおける信号そのものの値やノイズベクトルには依存しない。
この最適性の概念を達成し、特定の初期化を伴う事前条件付き勾配降下の極限として導出できることを示す補間器の閉形式式を提供する。
我々は、最小ノルム補間器が最適応答-線形到達可能な補間器よりも任意に悪い一般化を行う仕組みを同定し、等方的事前の場合、トレーニングデータのみを入力として使用する方法を用いて、最適性の概念が実現できることを数値実験で検証する。
最後に,従来文献で研究されてきた線形データ生成モデルの下で,最適応答線形補間の概念をランダム特徴回帰へ拡張する。
関連論文リスト
- Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。
これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文 参考訳（メタデータ） (2024-04-16T20:01:10Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Adaptive Linear Estimating Equations [5.985204759362746]
本稿では,デバイアス推定器の一般的な構成法を提案する。
適応線形推定方程式の考え方を利用し、正規性の理論的保証を確立する。
我々の推定器の健全な特徴は、マルチアームバンディットの文脈では、我々の推定器は非漸近的な性能を保っていることである。
論文 参考訳（メタデータ） (2023-07-14T12:55:47Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Shuffled linear regression through graduated convex relaxation [12.614901374282868]
シャッフル線形回帰問題は、入力と出力の対応が不明なデータセットにおける線形関係を復元することを目的としている。
この問題は、調査データを含む広範囲のアプリケーションで発生する。
後最大化目的関数に基づく線形回帰をシャッフルする新しい最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-30T17:33:48Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Piecewise linear regression and classification [0.20305676256390928]
本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。
本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
論文 参考訳（メタデータ） (2021-03-10T17:07:57Z) - Random extrapolation for primal-dual coordinate descent [61.55967255151027]
本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。
一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
論文 参考訳（メタデータ） (2020-07-13T17:39:35Z) - To Each Optimizer a Norm, To Each Norm its Generalization [31.682969645989512]
過度なパラメータ化と過度なパラメータ化の条件下でのトレーニングデータを補間する線形モデルに対する最適化手法の暗黙的な正規化について検討する。
我々は、標準最大値 l2-margin への収束解析は任意であり、データによって誘導されるノルムの最小化がより良い一般化をもたらすことを示す。
論文 参考訳（メタデータ） (2020-06-11T21:07:38Z) - Linear predictor on linearly-generated data with missing values: non
consistency and solutions [0.0]
本研究では,予測対象が全観測データの線形関数である場合について検討する。
不足する値が存在する場合、最適予測器は線形でない可能性があることを示す。
論文 参考訳（メタデータ） (2020-02-03T11:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。