論文の概要: Multi-Activation Hidden Units for Neural Networks with Random Weights

• arxiv url: http://arxiv.org/abs/2009.08932v2
• Date: Wed, 23 Sep 2020 20:54:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 07:53:29.845002
• Title: Multi-Activation Hidden Units for Neural Networks with Random Weights
• Title（参考訳）: ランダム重み付きニューラルネットワークのためのマルチアクティベーション隠れユニット
• Authors: Ajay M. Patrikar
• Abstract要約: 本稿では,マルチアクティベーション隠れユニットの利用を提案する。 このような単位はパラメータの数を増やし、複雑な決定曲面の形成を可能にする。 マルチアクティベーション隠れユニットは,分類精度の向上や計算量の削減に有効であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single layer feedforward networks with random weights are successful in a variety of classification and regression problems. These networks are known for their non-iterative and fast training algorithms. A major drawback of these networks is that they require a large number of hidden units. In this paper, we propose the use of multi-activation hidden units. Such units increase the number of tunable parameters and enable formation of complex decision surfaces, without increasing the number of hidden units. We experimentally show that multi-activation hidden units can be used either to improve the classification accuracy, or to reduce computations.
• Abstract（参考訳）: ランダムな重みを持つ単一層フィードフォワードネットワークは、様々な分類と回帰問題で成功している。 これらのネットワークは、非イテレーティブかつ高速なトレーニングアルゴリズムで知られている。 これらのネットワークの大きな欠点は、大量の隠しユニットを必要とすることだ。 本稿では,マルチアクティベーション隠れユニットの利用を提案する。 このような単位は調整可能なパラメータの数を増やし、隠れた単位の数を増やすことなく複雑な決定曲面の形成を可能にする。 マルチアクティベーション隠れユニットは, 分類精度を向上させるか, 計算量を減らすかのどちらかに使用できることを示す。

関連論文リスト

• Network Fission Ensembles for Low-Cost Self-Ensembles [20.103367702014474]
  NFE(Network Fission Ensembles)と呼ばれる低コストのアンサンブル学習と推論を提案する。 まず、トレーニングの負担を軽減するために、いくつかの重みを取り除きます。 次に、残りの重みを複数の集合に分けて、各集合を用いて複数の補助経路を作成し、複数の集合を構成する。
  論文  参考訳（メタデータ） (2024-08-05T08:23:59Z)
• Expand-and-Cluster: Parameter Recovery of Neural Networks [9.497862562614666]
  それぞれのニューロンの重みベクトルは,活性化関数に応じて,サインやスケーリングが可能であることを示す。 提案手法は, 一般的に使用されるすべてのアクティベーション関数に対して, 対象ネットワークの重みを同定する。
  論文  参考訳（メタデータ） (2023-04-25T13:14:20Z)
• Multi-Valued Neural Networks I A Multi-Valued Associative Memory [0.0]
  本稿では,数を持たないネットワークの概念を導入し,その特性を調査し,多値の場合の学習アルゴリズムを提案する。 多値ニューラルネットワークでは、全ての変数は数ではないが、格子の要素や部分集合、すなわちこれらはすべて部分的に順序づけられている。
  論文  参考訳（メタデータ） (2023-02-23T10:32:25Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
  我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。 提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
  論文  参考訳（メタデータ） (2022-07-18T15:07:13Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Efficient Design of Neural Networks with Random Weights [0.0]
  本稿では,ネットワークの精度に大きな影響を及ぼすことなく,隠れユニットの数を著しく削減する手法を提案する。 実験により,この手法は推定時に計算量が大幅に減少し,ネットワークの精度にはほとんど影響しないことがわかった。
  論文  参考訳（メタデータ） (2020-08-24T13:24:25Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。