論文の概要: Ensembled sparse-input hierarchical networks for high-dimensional
datasets
- arxiv url: http://arxiv.org/abs/2005.04834v1
- Date: Mon, 11 May 2020 02:08:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-04 19:53:47.000992
- Title: Ensembled sparse-input hierarchical networks for high-dimensional
datasets
- Title(参考訳): 高次元データセットのためのアンサンブルスパース入力階層ネットワーク
- Authors: Jean Feng and Noah Simon
- Abstract要約: サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。
提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。
EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
- 参考スコア(独自算出の注目度): 8.629912408966145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks have seen limited use in prediction for high-dimensional data
with small sample sizes, because they tend to overfit and require tuning many
more hyperparameters than existing off-the-shelf machine learning methods. With
small modifications to the network architecture and training procedure, we show
that dense neural networks can be a practical data analysis tool in these
settings. The proposed method, Ensemble by Averaging Sparse-Input Hierarchical
networks (EASIER-net), appropriately prunes the network structure by tuning
only two L1-penalty parameters, one that controls the input sparsity and
another that controls the number of hidden layers and nodes. The method selects
variables from the true support if the irrelevant covariates are only weakly
correlated with the response; otherwise, it exhibits a grouping effect, where
strongly correlated covariates are selected at similar rates. On a collection
of real-world datasets with different sizes, EASIER-net selected network
architectures in a data-adaptive manner and achieved higher prediction accuracy
than off-the-shelf methods on average.
- Abstract(参考訳): ニューラルネットワークは、既存の市販の機械学習手法よりも多くのハイパーパラメータをチューニングする必要があるため、サンプルサイズが小さい高次元データの予測に制限がある。
ネットワークアーキテクチャとトレーニング手順の小さな変更により、これらの設定において、高密度ニューラルネットワークが実用的なデータ分析ツールとなることを示す。
提案手法は,2つのL1ペナルティパラメータのみを調整し,それぞれが入力空間を制御し,もう1つは隠れた層やノードの数を制御することで,ネットワーク構造を適切に推定する。
この方法は、無関係な共変数が応答と弱相関しているだけであれば、真の支持から変数を選択する;さもなくば、強相関共変数が同様の速度で選択されるグループ化効果を示す。
EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
関連論文リスト
- On the effectiveness of partial variance reduction in federated learning
with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。
そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。
同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文 参考訳(メタデータ) (2022-12-05T11:56:35Z) - GCondNet: A Novel Method for Improving Neural Networks on Small
High-Dimensional Tabular Data [15.430254192749626]
本稿では,グラフデータに存在する暗黙構造を利用して,ニューラルネットワークを強化するためのGCondNetを提案する。
GCondNetはデータの高次元性を利用して、基礎となる予測ネットワークの性能を向上させる。
我々は,GCondNetが15の標準および最先端の手法より優れている実世界の9つのデータセットに対して,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-11-11T16:13:34Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Neural Network Training Using $\ell_1$-Regularization and Bi-fidelity
Data [0.0]
高忠実度モデルからの小さなトレーニングデータセットのみが利用可能である場合、スペーサがニューラルネットワークのトレーニングに$ell_$-regularizationを促進させる効果について検討する。
本稿では,問題の低忠実度モデルから得られたデータを用いて訓練した同一ネットワークのパラメータから,$ell_$-regularizationの2つの変種について考察する。
これらのバイフィダリティ戦略は、大きな低フィダリティデータセットから学習したパラメータを使用して、小さな高フィダリティデータセットのためにネットワークを効率的にトレーニングするニューラルネットワークの転送学習の一般化である。
論文 参考訳(メタデータ) (2021-05-27T08:56:17Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳(メタデータ) (2020-12-04T19:50:09Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳(メタデータ) (2020-07-07T03:36:28Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳(メタデータ) (2020-05-29T09:02:16Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳(メタデータ) (2020-04-17T19:12:39Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2020-04-06T15:51:00Z) - Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。
RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。
ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
論文 参考訳(メタデータ) (2020-03-16T16:54:36Z) - Mixed-Precision Quantized Neural Network with Progressively Decreasing
Bitwidth For Image Classification and Object Detection [21.48875255723581]
ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。
典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
論文 参考訳(メタデータ) (2019-12-29T14:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。