論文の概要: Sparse tree-based initialization for neural networks

• arxiv url: http://arxiv.org/abs/2209.15283v1
• Date: Fri, 30 Sep 2022 07:44:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 14:38:33.867101
• Title: Sparse tree-based initialization for neural networks
• Title（参考訳）: スパースツリーに基づくニューラルネットワークの初期化
• Authors: Patrick Lutz (BU), Ludovic Arnould (LPSM (UMR\_8001)), Claire Boyer (LPSM (UMR\_8001)), Erwan Scornet (CMAP)
• Abstract要約: 専用ニューラルネットワーク(NN)アーキテクチャは、画像のCNNやテキストのRNNといった特定のデータタイプを処理可能であることを示す。 本研究では,(潜在的に深い)多層パーセプトロン(MLP)の新しい手法を提案する。 NNトレーニング中に新しい初期化器が暗黙の正規化を行うことを示すとともに,第1層がスパース機能抽出器として機能することを強調する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dedicated neural network (NN) architectures have been designed to handle specific data types (such as CNN for images or RNN for text), which ranks them among state-of-the-art methods for dealing with these data. Unfortunately, no architecture has been found for dealing with tabular data yet, for which tree ensemble methods (tree boosting, random forests) usually show the best predictive performances. In this work, we propose a new sparse initialization technique for (potentially deep) multilayer perceptrons (MLP): we first train a tree-based procedure to detect feature interactions and use the resulting information to initialize the network, which is subsequently trained via standard stochastic gradient strategies. Numerical experiments on several tabular data sets show that this new, simple and easy-to-use method is a solid concurrent, both in terms of generalization capacity and computation time, to default MLP initialization and even to existing complex deep learning solutions. In fact, this wise MLP initialization raises the resulting NN methods to the level of a valid competitor to gradient boosting when dealing with tabular data. Besides, such initializations are able to preserve the sparsity of weights introduced in the first layers of the network through training. This fact suggests that this new initializer operates an implicit regularization during the NN training, and emphasizes that the first layers act as a sparse feature extractor (as for convolutional layers in CNN).
• Abstract（参考訳）: 専用ニューラルネットワーク(NN)アーキテクチャは、特定のデータタイプ(画像のCNNやテキストのRNNなど)を扱うように設計されている。 残念なことに、表形式のデータを扱うためのアーキテクチャはまだ見つかっておらず、ツリーアンサンブル法(樹木の隆起、ランダムな森林)は、通常、最高の予測性能を示す。 本研究では,(潜在的に深い)多層パーセプトロン(mlp)のための新しいスパース初期化手法を提案する。我々はまず,特徴的相互作用を検出し,得られた情報を用いてネットワークの初期化を行うツリーベースの手順を訓練する。 いくつかの表付きデータセットの数値実験により、この新しい単純で使いやすい手法は、一般化能力と計算時間の両方において、デフォルトのMPP初期化と既存の複雑なディープラーニングソリューションとの同時並行性を示している。 実際、この賢いMLP初期化は、結果のNNメソッドを表データを扱う際のグラデーションアップに対する有効な競合のレベルまで引き上げる。 さらに、そのような初期化はトレーニングを通じてネットワークの第1層に導入された重みの空間を保存することができる。 この事実は、この新しい初期化子がnnトレーニング中に暗黙の正規化を実行し、最初の層が(cnnの畳み込み層のように)スパースな特徴抽出子として機能することを強調していることを示唆している。

関連論文リスト

• An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
  本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。 提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。 我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-11-07T13:52:35Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Tensor-based framework for training flexible neural networks [9.176056742068813]
  本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。 提案アルゴリズムは、異なる基底分解を処理できる。 この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
  論文  参考訳（メタデータ） (2021-06-25T10:26:48Z)
• Dense for the Price of Sparse: Improved Performance of Sparsely Initialized Networks via a Subspace Offset [0.0]
  我々は,0.01%のトレーニング可能なカーネルパラメータが残っている場合でも,情報伝達とトレーニング性を維持する新しいDCT+Sparse層アーキテクチャを導入する。 標準のスパース層からDCTとスパース層への切り替えは、ネットワークのストレージフットプリントを増大させず、小さな計算オーバーヘッドしか発生しません。
  論文  参考訳（メタデータ） (2021-02-12T00:05:02Z)
• An Effective and Efficient Initialization Scheme for Training Multi-layer Feedforward Neural Networks [5.161531917413708]
  本稿では,有名なスタインの身元に基づく新しいネットワーク初期化手法を提案する。 提案したSteinGLM法は、ニューラルネットワークのトレーニングによく使われる他の一般的な手法よりもはるかに高速で高精度であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T16:17:37Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。