論文の概要: Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending

• arxiv url: http://arxiv.org/abs/2104.14715v1
• Date: Fri, 30 Apr 2021 01:32:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 13:47:33.445008
• Title: Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending
• Title（参考訳）: ニューラルネットワークアンサンブルにおける多重線形性問題の排除:インクリメンタル,負相関,最適凸ブレンディング
• Authors: Pola Lydia Lagari, Lefteri H. Tsoukalas, Salar Safarkhani, Isaac E. Lagaris
• Abstract要約: ニューラルネットワークのアンサンブルを用いて集約回帰器を構成するインクリメンタルアルゴリズムを導入する。 集合回帰器と新たに訓練されたニューラルネットワークを凸性制約下で最適にブレンドする。 このフレームワークでは、直線性の問題はまったく発生せず、メソッドが正確かつ堅牢になるようにレンダリングします。
• 参考スコア（独自算出の注目度）: 0.2294014185517203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a {features, target} dataset, we introduce an incremental algorithm that constructs an aggregate regressor, using an ensemble of neural networks. It is well known that ensemble methods suffer from the multicollinearity issue, which is the manifestation of redundancy arising mainly due to the common training-dataset. In the present incremental approach, at each stage we optimally blend the aggregate regressor with a newly trained neural network under a convexity constraint which, if necessary, induces negative correlations. Under this framework, collinearity issues do not arise at all, rendering so the method both accurate and robust.
• Abstract（参考訳）: features, target}データセットが与えられたとき、ニューラルネットワークのアンサンブルを使用してアグリゲートレグレッサを構成するインクリメンタルアルゴリズムを導入します。 アンサンブル法は、一般的なトレーニングデータセットに起因する冗長性の顕現であるマルチコリニア性の問題に苦しむことがよく知られている。 現在の漸進的アプローチでは,各段階でアグリゲートレグレッセプタと新たに訓練されたニューラルネットワークを,必要であれば負の相関を生じさせる凸性制約下で最適にブレンドする。 このフレームワークでは、コリニア性の問題はまったく発生せず、レンダリングによって、メソッドは正確かつ堅牢になる。

関連論文リスト

• Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
  本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。 最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
  論文  参考訳（メタデータ） (2024-10-08T16:54:23Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• On the Convergence of Shallow Neural Network Training with Randomly Masked Neurons [11.119895959906085]
  密度の浅いニューラルネットワークを前提として、ランダムに選択された関数の作成、トレーニング、組み合わせに重点を置いています。 i)$ theworks' Neural kernel, $ii)$ the surrogate function' gradient, and $iii)$ surrogate functionのサンプリングと組み合わせの仕方を解析することにより、トレーニングエラーの線形収束率を証明できる。 固定されたニューロン選択確率では、サロゲートモデルの数が増えるにつれて誤差項は減少し、局所的なトレーニングステップの数が増えるにつれて増加する。
  論文  参考訳（メタデータ） (2021-12-05T19:51:14Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases [3.198144010381572]
  近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。 ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
  論文  参考訳（メタデータ） (2021-02-23T18:17:47Z)
• Convexifying Sparse Interpolation with Infinitely Wide Neural Networks: An Atomic Norm Approach [4.380224449592902]
  この研究は、漏れやすい整列線形単位活性化を伴うスパース(ニューロン数)、無限幅の単一の隠蔽層ニューラルネットワークによる正確なデータの問題を調べる。 ネットワークの重みと偏りに関するいくつかの異なる制約の下で、この問題に対する対応する原子集合の凸殻の簡易な特徴付けを導出する。 また,提案手法を二項分類問題に拡張した。
  論文  参考訳（メタデータ） (2020-07-15T21:40:51Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Projection Neural Network for a Class of Sparse Regression Problems with Cardinality Penalty [9.698438188398434]
  対象関数は凸損失関数の和と基数ペナルティの和である。 濃度関数の平滑化関数を構築することにより、予測されたニューラルネットワークを提案し、この問題を解決するための補正法を設計する。 提案したニューラルネットワークの解は、ユニークな、グローバルな存在、有界な、そしてグローバルなリプシッツ連続である。
  論文  参考訳（メタデータ） (2020-04-02T08:05:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。