論文の概要: Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles

• arxiv url: http://arxiv.org/abs/2307.03176v3
• Date: Tue, 9 Jan 2024 20:37:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 17:31:06.378388
• Title: Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles
• Title（参考訳）: 不均一な特徴サブサンプルリッジアンサンブルのための学習曲線
• Authors: Benjamin S. Ruben, Cengiz Pehlevan
• Abstract要約: 雑音の多い最小二乗尾根アンサンブルにおける特徴バッグングの理論を開発する。 サブサンプリングは線形予測器の2Dピークをシフトすることを示した。 特徴サブサンプリングアンサンブルの性能を1つの線形予測器と比較する。
• 参考スコア（独自算出の注目度）: 34.32021888691789
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Feature bagging is a well-established ensembling method which aims to reduce prediction variance by combining predictions of many estimators trained on subsets or projections of features. Here, we develop a theory of feature-bagging in noisy least-squares ridge ensembles and simplify the resulting learning curves in the special case of equicorrelated data. Using analytical learning curves, we demonstrate that subsampling shifts the double-descent peak of a linear predictor. This leads us to introduce heterogeneous feature ensembling, with estimators built on varying numbers of feature dimensions, as a computationally efficient method to mitigate double-descent. Then, we compare the performance of a feature-subsampling ensemble to a single linear predictor, describing a trade-off between noise amplification due to subsampling and noise reduction due to ensembling. Our qualitative insights carry over to linear classifiers applied to image classification tasks with realistic datasets constructed using a state-of-the-art deep learning feature map.
• Abstract（参考訳）: 機能バッキング(feature bagging)は、サブセットや機能の投影で訓練された多くの推定器の予測を組み合わせることによって、予測分散を減らすことを目的とした、確立されたセンスリング手法である。 本稿では,ノイズ最小2乗リッジアンサンブルにおける特徴バッキングの理論を考案し,等価データの場合の学習曲線を単純化する。 解析学習曲線を用いて, サブサンプリングが線形予測器の2次元ピークをシフトすることを示す。 この結果、様々な特徴次元に基づいて推定器を組み込んだ異種特徴のセンスリングが、二重日光を緩和する計算効率のよい手法として導入される。 次に,特徴サンプリングアンサンブルの性能を単一線形予測器と比較し,サブサンプリングによるノイズ増幅とセンスリングによるノイズ低減とのトレードオフを記述する。 我々の質的洞察は、最先端のディープラーニング特徴マップを用いて構築された現実的なデータセットを用いた画像分類タスクに適用される線形分類器に引き継がれる。

関連論文リスト

• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• Nonparametric Linear Feature Learning in Regression Through Regularisation [0.0]
  本研究では,データの低次元線形部分空間内に存在する情報を教師付き学習シナリオに焦点をあてる。 線形部分空間を同時に推定する非パラメトリック予測を用いた線形特徴学習法を提案する。 当社のアプローチでは,デリバティブに対するペナルティを付加した経験的リスク最小化を採用し,汎用性を確保している。
  論文  参考訳（メタデータ） (2023-07-24T12:52:55Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Gradient Descent with Linearly Correlated Noise: Theory and Applications to Differential Privacy [17.81999485513265]
  線形相関雑音下での勾配降下について検討する。 我々はこの結果を用いて、微分プライベート最適化のための新しい効果的な行列分解法を開発した。
  論文  参考訳（メタデータ） (2023-02-02T23:32:24Z)
• Local Graph-homomorphic Processing for Privatized Distributed Systems [57.14673504239551]
  付加雑音は学習モデルの性能に影響を与えないことを示す。 これは、分散アルゴリズムの差分プライバシーに関する以前の研究に対して、大きな改善である。
  論文  参考訳（メタデータ） (2022-10-26T10:00:14Z)
• Learning Low-Dimensional Nonlinear Structures from High-Dimensional Noisy Data: An Integral Operator Approach [5.975670441166475]
  本研究では,高次元および雑音観測から低次元非線形構造を学習するためのカーネルスペクトル埋め込みアルゴリズムを提案する。 このアルゴリズムは、基礎となる多様体の事前の知識に依存しない適応的な帯域幅選択手順を用いる。 得られた低次元埋め込みは、データ可視化、クラスタリング、予測などの下流目的にさらに活用することができる。
  論文  参考訳（メタデータ） (2022-02-28T22:46:34Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection [54.98042023365694]
  本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。 提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
  論文  参考訳（メタデータ） (2020-07-23T18:47:36Z)
• Learning Randomly Perturbed Structured Predictors for Direct Loss Minimization [18.981576950505442]
  直接損失最小化は、構造化ラベル空間上の予測子を学習するための一般的なアプローチである。 構造化予測において,学習したスコア関数とランダム化雑音とのバランスが良くなることを示す。
  論文  参考訳（メタデータ） (2020-07-11T08:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。