論文の概要: Activation functions are not needed: the ratio net
- arxiv url: http://arxiv.org/abs/2005.06678v2
- Date: Fri, 3 Dec 2021 06:22:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-03 04:11:13.189965
- Title: Activation functions are not needed: the ratio net
- Title（参考訳）: 活性化関数は不要:比率ネット
- Authors: Chi-Chun Zhou, Hai-Long Tu, Yue-Jie Hou, Zhen Ling, Yi Liu, and Jian
Hua
- Abstract要約: 本稿では,新しい関数近似器の設計に焦点をあてる。
新しいアクティベーション関数やカーネル関数を設計する代わりに、新しい提案されたネットワークは分数形式を使用する。
その結果、ほとんどの場合、比率ネットはより速く収束し、分類とRBFの両方を上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 3.9636371287541086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A deep neural network for classification tasks is essentially consist of two
components: feature extractors and function approximators. They usually work as
an integrated whole, however, improvements on any components can promote the
performance of the whole algorithm. This paper focus on designing a new
function approximator. Conventionally, to build a function approximator, one
usually uses the method based on the nonlinear activation function or the
nonlinear kernel function and yields classical networks such as the
feed-forward neural network (MLP) and the radial basis function network (RBF).
In this paper, a new function approximator that is effective and efficient is
proposed. Instead of designing new activation functions or kernel functions,
the new proposed network uses the fractional form. For the sake of convenience,
we name the network the ratio net. We compare the effectiveness and efficiency
of the ratio net and that of the RBF and the MLP with various kinds of
activation functions in the classification task on the mnist database of
handwritten digits and the Internet Movie Database (IMDb) which is a binary
sentiment analysis dataset. It shows that, in most cases, the ratio net
converges faster and outperforms both the MLP and the RBF.
- Abstract（参考訳）: 分類タスクのためのディープニューラルネットワークは、基本的に2つのコンポーネント(特徴抽出器と関数近似器)から構成される。
それらは通常、統合的な全体として機能するが、あらゆるコンポーネントの改善によってアルゴリズム全体のパフォーマンスが向上する。
本稿では,新しい関数近似器の設計に着目する。
通常、関数近似器を構築するには、非線形活性化関数や非線形核関数に基づく手法を使い、フィードフォワードニューラルネットワーク(mlp)やラジアル基底関数ネットワーク(rbf)などの古典的なネットワークを生成する。
本稿では,効率的かつ効率的な関数近似器を提案する。
新しいアクティベーション関数やカーネル関数を設計する代わりに、新しい提案されたネットワークは分数形式を使用する。
利便性のため、ネットワークを比率ネットと呼ぶ。
本稿では,2進感情分析データセットである手書き桁のmnistデータベースとインターネット映画データベース(IMDb)の分類作業において,RBF と MLP の有効性と効率を,様々なアクティベーション機能と比較する。
その結果、ほとんどの場合、比率ネットはより速く収束し、MLPとRBFの両方より優れていた。
関連論文リスト
- LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。
本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。
LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
論文 参考訳（メタデータ） (2024-07-13T16:09:45Z) - Your Network May Need to Be Rewritten: Network Adversarial Based on High-Dimensional Function Graph Decomposition [0.994853090657971]
本稿では,上記の課題に対処するネットワーク敵手法を提案する。
これはネットワーク内で異なるアクティベーション関数を使用する最初の方法である。
トレーニング効率と予測精度の両面で,標準的なアクティベーション機能よりも大幅に向上した。
論文 参考訳（メタデータ） (2024-05-04T11:22:30Z) - OPAF: Optimized Secure Two-Party Computation Protocols for Nonlinear Activation Functions in Recurrent Neural Network [8.825150825838769]
本稿では,二者間設定の半正直モデルにおける非線形関数の実装について,特に注目する。
そこで本研究では,分割・対数戦略を用いた指数関数の新しい,効率的なプロトコルを提案する。
次に,Sigmoid と Tanh の対称性を利用し,入力を微調整して2PC 構築ブロックを小さくする。
論文 参考訳（メタデータ） (2024-03-01T02:49:40Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳（メタデータ） (2023-03-09T10:08:34Z) - Trainable Compound Activation Functions for Machine Learning [13.554038901140949]
活性化関数(AF)は、関数の近似を可能にするニューラルネットワークに必要なコンポーネントである。
シフトおよびスケールされた単純なAFの和からなるトレーニング可能な化合物AF(TCA)を提案する。
論文 参考訳（メタデータ） (2022-04-25T19:53:04Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳（メタデータ） (2022-02-13T10:54:59Z) - Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na
previsao de series temporais [0.0]
本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。
定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。
ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
論文 参考訳（メタデータ） (2021-07-29T23:32:15Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。
特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。
PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文 参考訳（メタデータ） (2021-04-08T11:29:11Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。