Fugu-MT 論文翻訳(概要): Nonparametric Linear Feature Learning in Regression Through Regularisation

論文の概要: Nonparametric Linear Feature Learning in Regression Through Regularisation

arxiv url: http://arxiv.org/abs/2307.12754v3
Date: Tue, 5 Mar 2024 17:19:25 GMT
ステータス: 処理完了
システム内更新日: 2024-03-07 02:56:51.201012
Title: Nonparametric Linear Feature Learning in Regression Through Regularisation
Title（参考訳）: 正規化による回帰における非パラメトリック線形特徴学習
Authors: Bertille Follain, Francis Bach
Abstract要約: 本研究では,データの低次元線形部分空間内に存在する情報を教師付き学習シナリオに焦点をあてる。線形部分空間を同時に推定する非パラメトリック予測を用いた線形特徴学習法を提案する。当社のアプローチでは,デリバティブに対するペナルティを付加した経験的リスク最小化を採用し,汎用性を確保している。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Representation learning plays a crucial role in automated feature selection, particularly in the context of high-dimensional data, where non-parametric methods often struggle. In this study, we focus on supervised learning scenarios where the pertinent information resides within a lower-dimensional linear subspace of the data, namely the multi-index model. If this subspace were known, it would greatly enhance prediction, computation, and interpretation. To address this challenge, we propose a novel method for linear feature learning with non-parametric prediction, which simultaneously estimates the prediction function and the linear subspace. Our approach employs empirical risk minimisation, augmented with a penalty on function derivatives, ensuring versatility. Leveraging the orthogonality and rotation invariance properties of Hermite polynomials, we introduce our estimator, named RegFeaL. By utilising alternative minimisation, we iteratively rotate the data to improve alignment with leading directions and accurately estimate the relevant dimension in practical settings. We establish that our method yields a consistent estimator of the prediction function with explicit rates. Additionally, we provide empirical results demonstrating the performance of RegFeaL in various experiments.
Abstract（参考訳）: 表現学習は、特に非パラメトリック手法がしばしば苦労する高次元データの文脈において、自動特徴選択において重要な役割を果たす。本研究では,関連する情報がデータの下次元線形部分空間,すなわちマルチインデックスモデルに存在する教師付き学習シナリオに注目した。この部分空間が知られている場合、予測、計算、解釈を大幅に強化する。この課題に対処するために,予測関数と線形部分空間を同時に推定する非パラメトリック予測を用いた線形特徴学習手法を提案する。提案手法は経験的リスク最小化を採用し,機能デリバティブにペナルティを付与し,汎用性を確保する。エルミート多項式の直交性と回転不変性を利用して、RegFeaLという推定器を導入する。代替最小化を利用することで、データを反復的に回転させ、先行方向との整合を改善し、実際の設定で適切な次元を正確に推定する。提案手法は,予測関数の定性的な推定を明示的な速度で行う。また,各種実験におけるRegFeaLの性能を示す実験結果も提供する。

関連論文リスト

Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
論文参考訳（メタデータ） (2024-05-28T15:36:48Z)
Stochastic Gradient Descent for Additive Nonparametric Regression [13.28914458950716]
本稿では,メモリストレージと計算要求を満足する加法モデルの反復的学習アルゴリズムを提案する。得られた推定値が不等式を満たすことを示し,その不等式がモデルの誤特定を許容することを示した。 3つの異なる訓練段階の学習速度を慎重に選択することにより、そのリスクがトレーニングサンプルのサイズとデータの寸法依存性の点で極小であることを示す。
論文参考訳（メタデータ） (2024-01-01T08:03:52Z)
Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文参考訳（メタデータ） (2023-05-31T03:48:49Z)
Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation [76.85274970052762]
本論文はアライメント正則化の選択肢の増大を動機としている。我々は、ロバスト性および不変性の次元に沿って、いくつかの人気のある設計選択のパフォーマンスを評価する。我々はまた、現実的と考える仮定の下で経験的な研究を補完するために、アライメント正則化の挙動を正式に分析する。
論文参考訳（メタデータ） (2022-06-04T04:29:19Z)
Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
論文参考訳（メタデータ） (2022-03-11T09:00:12Z)
Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文参考訳（メタデータ） (2022-02-14T16:42:16Z)
Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
線形関数近似を用いた強化学習における非政治的評価問題について検討する。本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
論文参考訳（メタデータ） (2021-06-22T17:58:46Z)
Joint Dimensionality Reduction for Separable Embedding Estimation [43.22422640265388]
異なるソースからのデータの低次元埋め込みは、機械学習、マルチメディア情報検索、バイオインフォマティクスにおいて重要な役割を果たす。異なるモダリティのデータや異なる種類の実体からのデータを表す2つの特徴ベクトルに対して,線形埋め込みを共同で学習する,教師付き次元還元法を提案する。提案手法は,他の次元減少法と比較し,遺伝子・退化関連を予測するための両線形回帰の最先端手法と比較した。
論文参考訳（メタデータ） (2021-01-14T08:48:37Z)
Feature space approximation for kernel-based supervised learning [2.653409741248232]
目標は、トレーニングデータのサイズを減らし、ストレージ消費と計算の複雑さを減らすことだ。完全トレーニングデータセットを含むデータ駆動予測の計算と比較して,大幅な改善が示された。本手法は, 画像認識, システム識別, 海洋時系列解析などの異なる応用領域の分類と回帰問題に適用する。
論文参考訳（メタデータ） (2020-11-25T11:23:58Z)
Doubly Robust Semiparametric Difference-in-Differences Estimators with High-Dimensional Data [15.27393561231633]
不均一な治療効果を推定するための2段半パラメトリック差分差分推定器を提案する。第1段階では、確率スコアを推定するために、一般的な機械学習手法が使用できる。第2段階ではパラメトリックパラメータと未知関数の両方の収束率を導出する。
論文参考訳（メタデータ） (2020-09-07T15:14:29Z)
Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。提案手法は, 十分次元還元法の非パラメトリック一般化である。推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文参考訳（メタデータ） (2020-06-10T14:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。