論文の概要: Weighting and Pruning based Ensemble Deep Random Vector Functional Link Network for Tabular Data Classification

• arxiv url: http://arxiv.org/abs/2201.05809v1
• Date: Sat, 15 Jan 2022 09:34:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 12:57:30.840018
• Title: Weighting and Pruning based Ensemble Deep Random Vector Functional Link Network for Tabular Data Classification
• Title（参考訳）: 重み付けとプルーニングに基づく表データ分類のためのアンサンブル深部ランダムベクトル関数型リンクネットワーク
• Authors: Qiushi Shi, Ponnuthurai Nagaratnam Suganthan, Rakesh Katuwal
• Abstract要約: 本稿では,Ensemble Deep Random Vector Functional Link (edRVFL) の新たな変種を提案する。 EDRVFL (Weighting edRVFL) は、重み付け法を用いて、サンプルが前層で確実に分類された方法に応じて異なる重みのトレーニングサンプルを与えることにより、アンサンブルの多様性と精度を高める。 プルーニングベースのedRVFL(PedRVFL)も提案されている。我々は、次の隠れ層を生成する前に、分類の重要性に基づいて、いくつかの下位ニューロンをプルーニングする。
• 参考スコア（独自算出の注目度）: 3.1905745371064484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we first introduce batch normalization to the edRVFL network. This re-normalization method can help the network avoid divergence of the hidden features. Then we propose novel variants of Ensemble Deep Random Vector Functional Link (edRVFL). Weighted edRVFL (WedRVFL) uses weighting methods to give training samples different weights in different layers according to how the samples were classified confidently in the previous layer thereby increasing the ensemble's diversity and accuracy. Furthermore, a pruning-based edRVFL (PedRVFL) has also been proposed. We prune some inferior neurons based on their importance for classification before generating the next hidden layer. Through this method, we ensure that the randomly generated inferior features will not propagate to deeper layers. Subsequently, the combination of weighting and pruning, called Weighting and Pruning based Ensemble Deep Random Vector Functional Link Network (WPedRVFL), is proposed. We compare their performances with other state-of-the-art deep feedforward neural networks (FNNs) on 24 tabular UCI classification datasets. The experimental results illustrate the superior performance of our proposed methods.
• Abstract（参考訳）: 本稿では,まずedrvflネットワークにバッチ正規化を導入する。 この再正規化手法は、ネットワークが隠れた特徴のばらつきを避けるのに役立つ。 次に,アンサンブル深部ランダムベクトル汎関数リンク(edrvfl)の新たな変種を提案する。 重み付きEDRVFL (WedRVFL) は、重み付け法を用いて、サンプルが前層で確実に分類された方法に応じて異なる重みのトレーニングサンプルを与えることにより、アンサンブルの多様性と精度を高める。 さらに、プルーニングベースのEDRVFL(PedRVFL)も提案されている。 次に隠れた層を生成する前に、分類の重要性に基づいて下層ニューロンをプルーピングする。 この方法により、ランダムに生成された劣等な特徴がより深い層に伝播しないようにする。 次に,重み付けと刈り込みを併用し,重み付けと刈り込みに基づく深層ランダムベクトル汎関数リンクネットワーク(wpedrvfl)を提案する。 それらの性能を、24の表付きUCI分類データセット上で、最先端のディープフィードフォワードニューラルネットワーク(FNN)と比較する。 実験結果は,提案手法の優れた性能を示す。

関連論文リスト

• BALI: Learning Neural Networks via Bayesian Layerwise Inference [6.7819070167076045]
  我々はベイズニューラルネットワークを学習し,それを多変量ベイズ線形回帰モデルのスタックとして扱う新しい手法を提案する。 主なアイデアは、各レイヤの目標出力を正確に知っていれば、階層的に後方に推論することである。 これらの擬似ターゲットをフォワードパスから出力する層として定義し、対象関数のバックプロパゲーションによって更新する。
  論文  参考訳（メタデータ） (2024-11-18T22:18:34Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive Compression [40.35734017517066]
  ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。 最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-27T12:34:58Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches [0.40611352512781856]
  適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。 我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。 我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
  論文  参考訳（メタデータ） (2020-03-11T08:45:36Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。