論文の概要: Efficient Design of Neural Networks with Random Weights

• arxiv url: http://arxiv.org/abs/2008.10425v1
• Date: Mon, 24 Aug 2020 13:24:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 08:59:18.883550
• Title: Efficient Design of Neural Networks with Random Weights
• Title（参考訳）: ランダム重み付きニューラルネットワークの効率的な設計
• Authors: Ajay M. Patrikar
• Abstract要約: 本稿では,ネットワークの精度に大きな影響を及ぼすことなく,隠れユニットの数を著しく削減する手法を提案する。 実験により,この手法は推定時に計算量が大幅に減少し,ネットワークの精度にはほとんど影響しないことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single layer feedforward networks with random weights are known for their non-iterative and fast training algorithms and are successful in a variety of classification and regression problems. A major drawback of these networks is that they require a large number of hidden units. In this paper, we propose a technique to reduce the number of hidden units substantially without affecting the accuracy of the networks significantly. We introduce the concept of primary and secondary hidden units. The weights for the primary hidden units are chosen randomly while the secondary hidden units are derived using pairwise combinations of the primary hidden units. Using this technique, we show that the number of hidden units can be reduced by at least one order of magnitude. We experimentally show that this technique leads to significant drop in computations at inference time and has only a minor impact on network accuracy. A huge reduction in computations is possible if slightly lower accuracy is acceptable.
• Abstract（参考訳）: ランダムな重みを持つ単一層フィードフォワードネットワークは、非定性的かつ高速なトレーニングアルゴリズムで知られ、様々な分類や回帰問題で成功している。 これらのネットワークの大きな欠点は、大量の隠しユニットを必要とすることだ。 本稿では,ネットワークの精度に大きな影響を及ぼすことなく,隠れユニットの数を著しく削減する手法を提案する。 プライマリとセカンダリの隠蔽ユニットの概念を導入する。 一次隠蔽ユニットの重みはランダムに選択され、二次隠蔽ユニットは一次隠蔽ユニットのペアの組合せを用いて導出される。 この手法を用いることで、隠蔽ユニットの数を少なくとも1桁減らすことができることを示す。 実験により,この手法は推定時に計算量が大幅に減少し,ネットワークの精度にはほとんど影響しないことがわかった。 若干の精度が許容される場合、計算の大幅な削減が可能となる。

関連論文リスト

• Residual Random Neural Networks [0.0]
  ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。 隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:00:11Z)
• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Self-Compressing Neural Networks [0.0]
  この研究は、ニューラルネットワークの実行時間、消費電力、帯域幅、メモリフットプリントの主要な要因である、ニューラルネットワークのサイズ削減に重点を置いている。 重要な課題は、特別なハードウェアを必要とせずに、効率的なトレーニングと推論のために簡単に活用できる方法でサイズを減らすことである。 本稿では,(1)重みの除去,(2)残りの重みの表現に必要なビット数の削減という2つの目標を同時に達成する,単純で汎用的な方法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T18:22:28Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Multi-Activation Hidden Units for Neural Networks with Random Weights [0.0]
  本稿では,マルチアクティベーション隠れユニットの利用を提案する。 このような単位はパラメータの数を増やし、複雑な決定曲面の形成を可能にする。 マルチアクティベーション隠れユニットは,分類精度の向上や計算量の削減に有効であることを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:17:33Z)
• It's Hard for Neural Networks To Learn the Game of Life [4.061135251278187]
  最近の研究では、ニューラルネットワークは、ソリューションに迅速に収束する"ロテリチケット"のラッキーな初期重みに依存していることが示唆されている。 本研究では,2次元セル・オートマトン・コンウェイのゲーム・オブ・ライフのn段階を予測するために訓練された小さな畳み込みネットワークについて検討する。 このタスクでトレーニングされたこのアーキテクチャのネットワークは、ほとんど収束しない。
  論文  参考訳（メタデータ） (2020-09-03T00:47:08Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Logarithmic Pruning is All You Need [30.330326149079326]
  Lottery Ticket仮説(Lottery Ticket hypothesis): 大規模なニューラルネットワークには、独立したトレーニングを受けた場合、大きなネットワークに匹敵するパフォーマンスを実現するサブネットワークが含まれている。 しかし、後者の結果は多くの強い仮定に依存し、ターゲット関数と比較して大きなネットワークのサイズに影響を及ぼす。
  論文  参考訳（メタデータ） (2020-06-22T11:42:30Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Neural Arithmetic Units [84.65228064780744]
  ニューラルネットワークは複雑な関数を近似することができるが、実数に対して正確な算術演算を行うのに苦労する。 ニューラルネットワークコンポーネントとして、正確な加算と減算を学習可能なニューラル加算ユニット(NAU)と、ベクトルのサブセットを乗算可能なニューラル乗算ユニット(NMU)がある。 提案したユニットNAUとNMUは、従来のニューラルネットワークユニットと比較して、より一貫して収束し、パラメータを少なくし、より速く学習し、より大きな隠れたサイズに収束し、スパースと意味のある重みを得、負の値と小さな値に外挿することができる。
  論文  参考訳（メタデータ） (2020-01-14T19:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。