論文の概要: Learning Curves for Heterogeneous Feature-Subsampled Ridge Ensembles
- arxiv url: http://arxiv.org/abs/2307.03176v1
- Date: Thu, 6 Jul 2023 17:56:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 12:56:41.787374
- Title: Learning Curves for Heterogeneous Feature-Subsampled Ridge Ensembles
- Title(参考訳): 不均一な特徴サブサンプルリッジアンサンブルの学習曲線
- Authors: Benjamin S. Ruben, Cengiz Pehlevan
- Abstract要約: 異質な特徴アンサンブルを導入し,様々な特徴次元に基づいて推定器を構築した。
利用可能な特徴のサブセットのリッジ回帰を用いて線形予測器のアンサンブルについて検討する。
ノイズレベル,データ相関,データ-タスクアライメントのパラメータ空間における最適アンサンブル戦略の急激な遷移を見出した。
- 参考スコア(独自算出の注目度): 16.244541005112747
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Feature bagging is a well-established ensembling method which aims to reduce
prediction variance by training estimators in an ensemble on random subsamples
or projections of features. Typically, ensembles are chosen to be homogeneous,
in the sense the the number of feature dimensions available to an estimator is
uniform across the ensemble. Here, we introduce heterogeneous feature
ensembling, with estimators built on varying number of feature dimensions, and
consider its performance in a linear regression setting. We study an ensemble
of linear predictors, each fit using ridge regression on a subset of the
available features. We allow the number of features included in these subsets
to vary. Using the replica trick from statistical physics, we derive learning
curves for ridge ensembles with deterministic linear masks. We obtain explicit
expressions for the learning curves in the case of equicorrelated data with an
isotropic feature noise. Using the derived expressions, we investigate the
effect of subsampling and ensembling, finding sharp transitions in the optimal
ensembling strategy in the parameter space of noise level, data correlations,
and data-task alignment. Finally, we suggest variable-dimension feature bagging
as a strategy to mitigate double descent for robust machine learning in
practice.
- Abstract(参考訳): 特徴バッキング(feature bagging)は、ランダムなサブサンプルや特徴の投影のアンサンブルにおいて推定子を訓練することで予測分散を減らすことを目的とした、確立されたセンスリング手法である。
通常、アンサンブルは均質であると選択されるが、この意味では、エスティメータが利用できる特徴次元の数はアンサンブル全体で一様である。
本稿では,様々な特徴次元に基づいて推定器を組み込んだ不均一な特徴アンサンブルを導入し,その性能を線形回帰条件で検討する。
線形予測器のアンサンブルについて検討し,利用可能な特徴のサブセットにリッジ回帰を用いた。
これらのサブセットに含まれる機能の数を変更できるようにします。
統計物理学からのレプリカのトリックを用いて、決定論的線形マスクを用いたリッジアンサンブルの学習曲線を導出する。
等方性特徴雑音を伴う等相関データの場合,学習曲線の明示的な表現を求める。
導出表現を用いてサブサンプリングとアンサンブルの効果を調査し,ノイズレベル,データ相関,データ-タスクアライメントのパラメータ空間における最適なアンサンブル戦略の急激な遷移を見出した。
最後に,頑健な機械学習のための二重降下を緩和するための戦略として,可変次元特徴バッキングを提案する。
関連論文リスト
- Hodge-Aware Contrastive Learning [101.56637264703058]
単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。
我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
論文 参考訳(メタデータ) (2023-09-14T00:40:07Z) - Informative regularization for a multi-layer perceptron RR Lyrae
classifier under data shift [3.303002683812084]
本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。
提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
論文 参考訳(メタデータ) (2023-03-12T02:49:19Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Gradient Descent with Linearly Correlated Noise: Theory and Applications
to Differential Privacy [17.81999485513265]
線形相関雑音下での勾配降下について検討する。
我々はこの結果を用いて、微分プライベート最適化のための新しい効果的な行列分解法を開発した。
論文 参考訳(メタデータ) (2023-02-02T23:32:24Z) - Local Graph-homomorphic Processing for Privatized Distributed Systems [57.14673504239551]
付加雑音は学習モデルの性能に影響を与えないことを示す。
これは、分散アルゴリズムの差分プライバシーに関する以前の研究に対して、大きな改善である。
論文 参考訳(メタデータ) (2022-10-26T10:00:14Z) - Learning Low-Dimensional Nonlinear Structures from High-Dimensional
Noisy Data: An Integral Operator Approach [5.975670441166475]
本研究では,高次元および雑音観測から低次元非線形構造を学習するためのカーネルスペクトル埋め込みアルゴリズムを提案する。
このアルゴリズムは、基礎となる多様体の事前の知識に依存しない適応的な帯域幅選択手順を用いる。
得られた低次元埋め込みは、データ可視化、クラスタリング、予測などの下流目的にさらに活用することができる。
論文 参考訳(メタデータ) (2022-02-28T22:46:34Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating
Back-Propagation for Saliency Detection [54.98042023365694]
本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。
提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
論文 参考訳(メタデータ) (2020-07-23T18:47:36Z) - Learning Randomly Perturbed Structured Predictors for Direct Loss
Minimization [18.981576950505442]
直接損失最小化は、構造化ラベル空間上の予測子を学習するための一般的なアプローチである。
構造化予測において,学習したスコア関数とランダム化雑音とのバランスが良くなることを示す。
論文 参考訳(メタデータ) (2020-07-11T08:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。