Fugu-MT 論文翻訳(概要): Ensembled sparse-input hierarchical networks for high-dimensional datasets

論文の概要: Ensembled sparse-input hierarchical networks for high-dimensional datasets

arxiv url: http://arxiv.org/abs/2005.04834v1
Date: Mon, 11 May 2020 02:08:53 GMT
ステータス: 処理完了
システム内更新日: 2022-12-04 19:53:47.000992
Title: Ensembled sparse-input hierarchical networks for high-dimensional datasets
Title（参考訳）: 高次元データセットのためのアンサンブルスパース入力階層ネットワーク
Authors: Jean Feng and Noah Simon
Abstract要約: サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。 EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
参考スコア（独自算出の注目度）: 8.629912408966145
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural networks have seen limited use in prediction for high-dimensional data with small sample sizes, because they tend to overfit and require tuning many more hyperparameters than existing off-the-shelf machine learning methods. With small modifications to the network architecture and training procedure, we show that dense neural networks can be a practical data analysis tool in these settings. The proposed method, Ensemble by Averaging Sparse-Input Hierarchical networks (EASIER-net), appropriately prunes the network structure by tuning only two L1-penalty parameters, one that controls the input sparsity and another that controls the number of hidden layers and nodes. The method selects variables from the true support if the irrelevant covariates are only weakly correlated with the response; otherwise, it exhibits a grouping effect, where strongly correlated covariates are selected at similar rates. On a collection of real-world datasets with different sizes, EASIER-net selected network architectures in a data-adaptive manner and achieved higher prediction accuracy than off-the-shelf methods on average.
Abstract（参考訳）: ニューラルネットワークは、既存の市販の機械学習手法よりも多くのハイパーパラメータをチューニングする必要があるため、サンプルサイズが小さい高次元データの予測に制限がある。ネットワークアーキテクチャとトレーニング手順の小さな変更により、これらの設定において、高密度ニューラルネットワークが実用的なデータ分析ツールとなることを示す。提案手法は,2つのL1ペナルティパラメータのみを調整し,それぞれが入力空間を制御し,もう1つは隠れた層やノードの数を制御することで,ネットワーク構造を適切に推定する。この方法は、無関係な共変数が応答と弱相関しているだけであれば、真の支持から変数を選択する;さもなくば、強相関共変数が同様の速度で選択されるグループ化効果を示す。 EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。

関連論文リスト

NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
論文参考訳（メタデータ） (2024-10-24T11:36:19Z)
Adaptive Multilevel Neural Networks for Parametric PDEs with Error Estimation [0.0]
ニューラルネットワークアーキテクチャは高次元パラメータ依存偏微分方程式(pPDE)を解くために提示されるモデルデータのパラメータを対応する有限要素解にマッピングするために構築される。適応有限要素法(AFEM)で生成される粗いグリッド解と一連の補正を出力する。
論文参考訳（メタデータ） (2024-03-19T11:34:40Z)
Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文参考訳（メタデータ） (2023-05-26T04:34:28Z)
ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文参考訳（メタデータ） (2023-05-24T22:10:12Z)
GCondNet: A Novel Method for Improving Neural Networks on Small High-Dimensional Tabular Data [14.124731264553889]
我々はGCondNetを提案し、データに存在する暗黙構造を活用してニューラルネットワークを強化する。 GCondNetはデータの高次元性を利用して、基礎となる予測ネットワークの性能を向上させる。 GCondNetが実世界の12のデータセットに対して有効であることを示す。
論文参考訳（メタデータ） (2022-11-11T16:13:34Z)
Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文参考訳（メタデータ） (2022-09-26T17:59:58Z)
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文参考訳（メタデータ） (2020-12-04T19:50:09Z)
DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文参考訳（メタデータ） (2020-05-29T09:02:16Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2020-04-06T15:51:00Z)
Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。 RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
論文参考訳（メタデータ） (2020-03-16T16:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。