論文の概要: Optimizing Dense Feed-Forward Neural Networks
- arxiv url: http://arxiv.org/abs/2312.10560v1
- Date: Sat, 16 Dec 2023 23:23:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 15:55:02.461889
- Title: Optimizing Dense Feed-Forward Neural Networks
- Title（参考訳）: 高密度フィードフォワードニューラルネットワークの最適化
- Authors: Luis Balderas, Miguel Lastra and Jos\'e M. Ben\'itez
- Abstract要約: 本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。
提案手法では,パラメータ数を70%以上圧縮できる。
また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning models have been widely used during the last decade due to
their outstanding learning and abstraction capacities. However, one of the main
challenges any scientist has to face using deep learning models is to establish
the network's architecture. Due to this difficulty, data scientists usually
build over complex models and, as a result, most of them result computationally
intensive and impose a large memory footprint, generating huge costs,
contributing to climate change and hindering their use in computational-limited
devices. In this paper, we propose a novel feed-forward neural network
constructing method based on pruning and transfer learning. Its performance has
been thoroughly assessed in classification and regression problems. Without any
accuracy loss, our approach can compress the number of parameters by more than
70%. Even further, choosing the pruning parameter carefully, most of the
refined models outperform original ones. We also evaluate the transfer learning
level comparing the refined model and the original one training from scratch a
neural network with the same hyper parameters as the optimized model. The
results obtained show that our constructing method not only helps in the design
of more efficient models but also more effective ones.
- Abstract（参考訳）: ディープラーニングモデルは、卓越した学習能力と抽象化能力のために、過去10年間に広く使われてきた。
しかしながら、深層学習モデルを使用する科学者が直面する大きな課題の1つは、ネットワークのアーキテクチャを確立することである。
このような困難のため、データサイエンティストは通常複雑なモデルの上に構築され、結果として計算集約的な結果となり、大きなメモリフットプリントを課し、膨大なコストを発生させ、気候変動に寄与し、計算に制限されたデバイスでの使用を妨げる。
本稿では,プルーニングと転送学習に基づく新しいフィードフォワードニューラルネットワーク構築手法を提案する。
その性能は分類と回帰問題で徹底的に評価されている。
精度を損なうことなく、パラメータの数を70%以上圧縮することができる。
さらに、プルーニングパラメータを慎重に選択すると、洗練されたモデルのほとんどはオリジナルのモデルよりも優れている。
また、最適化したモデルと同じハイパーパラメータを持つニューラルネットワークから、洗練されたモデルと元のトレーニングを比較して、トランスファー学習レベルを評価する。
その結果, 提案手法は, より効率的なモデルの設計に役立つだけでなく, より効率的なモデルの設計に役立つことがわかった。
関連論文リスト
- Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Explicit Foundation Model Optimization with Self-Attentive Feed-Forward
Neural Units [4.807347156077897]
バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。
本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
論文 参考訳（メタデータ） (2023-11-13T17:55:07Z) - Efficiently Robustify Pre-trained Models [18.392732966487582]
大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。
まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。
続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
論文 参考訳（メタデータ） (2023-09-14T08:07:49Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳（メタデータ） (2023-07-13T09:39:10Z) - Transfer Learning in Deep Learning Models for Building Load Forecasting:
Case of Limited Data [0.0]
本稿では,この問題を克服し,ディープラーニングモデルの性能を向上させるためのビルディング・ツー・ビルディング・トランスファー・ラーニング・フレームワークを提案する。
提案手法は,スクラッチからトレーニングを行う従来のディープラーニングと比較して,予測精度を56.8%向上させた。
論文 参考訳（メタデータ） (2023-01-25T16:05:47Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - EvoPruneDeepTL: An Evolutionary Pruning Model for Transfer Learning
based Deep Neural Networks [15.29595828816055]
本稿では,トランスファーラーニングに基づくディープニューラルネットワークのための進化的プルーニングモデルを提案する。
EvoPruneDeepTLは、最後の完全に接続されたレイヤを遺伝的アルゴリズムによって最適化されたスパースレイヤで置き換える。
その結果,ネットワーク全体の計算効率に対するEvoPruneDeepTLと特徴選択の寄与が示された。
論文 参考訳（メタデータ） (2022-02-08T13:07:55Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Investigating the Relationship Between Dropout Regularization and Model
Complexity in Neural Networks [0.0]
ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。
2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。
各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
論文 参考訳（メタデータ） (2021-08-14T23:49:33Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。