論文の概要: Trainable Compound Activation Functions for Machine Learning

• arxiv url: http://arxiv.org/abs/2204.12920v1
• Date: Mon, 25 Apr 2022 19:53:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 14:10:02.620877
• Title: Trainable Compound Activation Functions for Machine Learning
• Title（参考訳）: 機械学習のための学習可能な複合活性化関数
• Authors: Paul M. Baggenstoss
• Abstract要約: 活性化関数(AF)は、関数の近似を可能にするニューラルネットワークに必要なコンポーネントである。 シフトおよびスケールされた単純なAFの和からなるトレーニング可能な化合物AF(TCA)を提案する。
• 参考スコア（独自算出の注目度）: 13.554038901140949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation functions (AF) are necessary components of neural networks that allow approximation of functions, but AFs in current use are usually simple monotonically increasing functions. In this paper, we propose trainable compound AF (TCA) composed of a sum of shifted and scaled simple AFs. TCAs increase the effectiveness of networks with fewer parameters compared to added layers. TCAs have a special interpretation in generative networks because they effectively estimate the marginal distributions of each dimension of the data using a mixture distribution, reducing modality and making linear dimension reduction more effective. When used in restricted Boltzmann machines (RBMs), they result in a novel type of RBM with mixture-based stochastic units. Improved performance is demonstrated in experiments using RBMs, deep belief networks (DBN), projected belief networks (PBN), and variational auto-encoders (VAE).
• Abstract（参考訳）: 活性化関数(AF)は、関数の近似を可能にするニューラルネットワークに必要なコンポーネントであるが、現在の使用時のAFは通常、単調に増大する関数である。 本稿では、シフトおよびスケールされた単純なAFの和からなるトレーニング可能な化合物AF(TCA)を提案する。 TCAは付加層に比べてパラメータが少ないネットワークの有効性を高める。 TCAsは、混合分布を用いてデータの各次元の辺分布を効果的に推定し、モダリティを低減し、線形次元の低減をより効果的にするため、生成ネットワークにおいて特別な解釈を持つ。 制限ボルツマン機械(RBM)で使用されると、混合確率単位を持つ新しいタイプのRBMとなる。 RBM、深い信念ネットワーク(DBN)、投影された信念ネットワーク(PBN)、変分自動エンコーダ(VAE)を用いた実験で、性能の向上が示されている。

関連論文リスト

• NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
  本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。 ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。 報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
  論文  参考訳（メタデータ） (2024-10-24T11:36:19Z)
• Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
  高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。 本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
  論文  参考訳（メタデータ） (2024-05-27T05:06:24Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Differentiable Neural Networks with RePU Activation: with Applications to Score Estimation and Isotonic Regression [7.450181695527364]
  整流パワーユニット(RePU)関数によって活性化される微分可能なニューラルネットワークの特性について検討する。 RePUを活性化したディープニューラルネットワークを用いて,スムーズな関数とその導関数を同時に近似するエラー境界を確立する。
  論文  参考訳（メタデータ） (2023-05-01T00:09:48Z)
• Achieving Efficient Distributed Machine Learning Using a Novel Non-Linear Class of Aggregation Functions [9.689867512720083]
  時間的変化のあるネットワーク上での分散機械学習(DML)は、分散化されたMLアプリケーションを開発する上で有効である。 本稿では,時間変動ネットワーク上で効率的なDMLを実現するために,モデル集約関数の非線形クラスを提案する。
  論文  参考訳（メタデータ） (2022-01-29T03:43:26Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Diffusion Mechanism in Residual Neural Network: Theory and Applications [12.573746641284849]
  限られたトレーニングサンプルを持つ多くの学習タスクでは、拡散はラベル付きおよびラベルなしのデータポイントを接続する。 本稿では,ニューラルネットワークのアーキテクチャへの拡散を内部的に導入する新しい拡散残差ネットワーク(Diff-ResNet)を提案する。 構造的データ仮定により,提案した拡散ブロックは,クラス間点の分離性を向上させる距離-距離比を増大させることができることが証明された。
  論文  参考訳（メタデータ） (2021-05-07T10:42:59Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Activation functions are not needed: the ratio net [3.9636371287541086]
  本稿では,新しい関数近似器の設計に焦点をあてる。 新しいアクティベーション関数やカーネル関数を設計する代わりに、新しい提案されたネットワークは分数形式を使用する。 その結果、ほとんどの場合、比率ネットはより速く収束し、分類とRBFの両方を上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-05-14T01:07:56Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。