論文の概要: A study of local optima for learning feature interactions using neural networks

• arxiv url: http://arxiv.org/abs/2002.04322v1
• Date: Tue, 11 Feb 2020 11:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 01:27:19.582396
• Title: A study of local optima for learning feature interactions using neural networks
• Title（参考訳）: ニューラルネットワークを用いた学習特徴相互作用の局所最適化に関する研究
• Authors: Yangzi Guo, Adrian Barbu
• Abstract要約: NNが比較的少量のトレーニングデータに基づいて訓練されるデータスターベッド方式について検討する。 XOR-likeデータ上のクロスエントロピー損失関数は多くの非等価局所最適値を持つことを示した。 実データセット上でのNNの性能はプルーニングにより改善できることを示す。
• 参考スコア（独自算出の注目度）: 4.94950858749529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many fields such as bioinformatics, high energy physics, power distribution, etc., it is desirable to learn non-linear models where a small number of variables are selected and the interaction between them is explicitly modeled to predict the response. In principle, neural networks (NNs) could accomplish this task since they can model non-linear feature interactions very well. However, NNs require large amounts of training data to have a good generalization. In this paper we study the datastarved regime where a NN is trained on a relatively small amount of training data. For that purpose we study feature selection for NNs, which is known to improve generalization for linear models. As an extreme case of data with feature selection and feature interactions we study the XOR-like data with irrelevant variables. We experimentally observed that the cross-entropy loss function on XOR-like data has many non-equivalent local optima, and the number of local optima grows exponentially with the number of irrelevant variables. To deal with the local minima and for feature selection we propose a node pruning and feature selection algorithm that improves the capability of NNs to find better local minima even when there are irrelevant variables. Finally, we show that the performance of a NN on real datasets can be improved using pruning, obtaining compact networks on a small number of features, with good prediction and interpretability.
• Abstract（参考訳）: バイオインフォマティクス、高エネルギー物理学、電力分布など多くの分野において、少数の変数が選択され、それらの相互作用が明示的にモデル化されて応答を予測する非線形モデルを学ぶことが望ましい。 原則として、ニューラルネットワーク(NN)は非線形特徴相互作用をモデル化できるので、このタスクを達成することができる。 しかし、NNは優れた一般化を得るために大量のトレーニングデータを必要とする。 本稿では,NNが比較的少量のトレーニングデータに基づいて訓練されるデータスターベッド方式について検討する。 この目的のために,線形モデルの一般化を改良したnnsの特徴選択について検討する。 特徴選択と特徴相互作用を伴う極端なデータの場合、XORのようなデータを無関係変数で調べる。 XOR-likeデータ上のクロスエントロピー損失関数は多くの非等価な局所最適値を持ち、非関連変数の数とともに局所最適値の数が指数関数的に増加することを実験的に観察した。 ローカルなミニマと特徴選択に対処するため,無関係な変数であってもNNがより優れたローカルなミニマを見つける能力を向上させるノードプルーニングと特徴選択アルゴリズムを提案する。 最後に,実データセット上でのnnの性能をpruningを用いて向上させ,少数の機能でコンパクトネットワークを得ることができ,予測と解釈性が良好であることを示す。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Towards a Phenomenological Understanding of Neural Networks: Data [1.2985510601654955]
  集合変数に基づいて構築されたニューラルネットワークの理論(NN)は、科学者に各段階での学習プロセスをよりよく理解するためのツールを提供する。 本研究では、モデルに渡されるトレーニングデータに基づいて構築された経験的ニューラルネットワークカーネル(NTK)のエントロピーとトレースという2つの変数を紹介する。 我々は、開始エントロピー、NTKのトレース、および訓練後に計算されたモデルの一般化の相関関係が得られた。
  論文  参考訳（メタデータ） (2023-05-01T18:00:01Z)
• Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks [17.12834153477201]
  スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。 スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。 NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
  論文  参考訳（メタデータ） (2023-03-10T17:09:55Z)
• Functional Neural Networks: Shift invariant models for functional data with applications to EEG classification [0.0]
  我々は、データのスムーズさを保ちながら不変な新しいタイプのニューラルネットワークを導入する:関数型ニューラルネットワーク(FNN) そこで我々は,多層パーセプトロンと畳み込みニューラルネットワークを機能データに拡張するために,機能データ分析(FDA)の手法を用いる。 脳波(EEG)データの分類にFNNをうまく利用し,FDAのベンチマークモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-14T09:41:21Z)
• Contextual HyperNetworks for Novel Feature Adaptation [43.49619456740745]
  Contextual HyperNetwork(CHN)は、ベースモデルを新機能に拡張するためのパラメータを生成する。 予測時、CHNはニューラルネットワークを通る単一のフォワードパスのみを必要とし、大幅なスピードアップをもたらす。 本システムでは,既存のインプテーションやメタラーニングベースラインよりも,新しい特徴のマイズショット学習性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-04-12T23:19:49Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear Convolution [0.0]
  NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。 いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
  論文  参考訳（メタデータ） (2021-01-30T13:38:42Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。