論文の概要: Your Network May Need to Be Rewritten: Network Adversarial Based on High-Dimensional Function Graph Decomposition
- arxiv url: http://arxiv.org/abs/2405.03712v1
- Date: Sat, 4 May 2024 11:22:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 18:34:09.552542
- Title: Your Network May Need to Be Rewritten: Network Adversarial Based on High-Dimensional Function Graph Decomposition
- Title（参考訳）: ネットワークの書き換えが必要かもしれない:高次元関数グラフ分解に基づくネットワークアドバイザ
- Authors: Xiaoyan Su, Yinghao Zhu, Run Li,
- Abstract要約: 本稿では,上記の課題に対処するネットワーク敵手法を提案する。
これはネットワーク内で異なるアクティベーション関数を使用する最初の方法である。
トレーニング効率と予測精度の両面で,標準的なアクティベーション機能よりも大幅に向上した。
- 参考スコア（独自算出の注目度）: 0.994853090657971
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the past, research on a single low dimensional activation function in networks has led to internal covariate shift and gradient deviation problems. A relatively small research area is how to use function combinations to provide property completion for a single activation function application. We propose a network adversarial method to address the aforementioned challenges. This is the first method to use different activation functions in a network. Based on the existing activation functions in the current network, an adversarial function with opposite derivative image properties is constructed, and the two are alternately used as activation functions for different network layers. For complex situations, we propose a method of high-dimensional function graph decomposition(HD-FGD), which divides it into different parts and then passes through a linear layer. After integrating the inverse of the partial derivatives of each decomposed term, we obtain its adversarial function by referring to the computational rules of the decomposition process. The use of network adversarial methods or the use of HD-FGD alone can effectively replace the traditional MLP+activation function mode. Through the above methods, we have achieved a substantial improvement over standard activation functions regarding both training efficiency and predictive accuracy. The article addresses the adversarial issues associated with several prevalent activation functions, presenting alternatives that can be seamlessly integrated into existing models without any adverse effects. We will release the code as open source after the conference review process is completed.
- Abstract（参考訳）: ネットワークにおける単一低次元活性化関数の研究は、内部共変量シフトと勾配偏差問題を引き起こしている。
比較的小さな研究領域は、単一のアクティベーション関数アプリケーションにプロパティ補完を提供するために関数の組み合わせを使う方法である。
本稿では,上記の課題に対処するネットワーク敵手法を提案する。
これはネットワーク内で異なるアクティベーション関数を使用する最初の方法である。
現在のネットワークにおける既存のアクティベーション機能に基づいて、反対の微分画像特性を持つ対角関数を構築し、異なるネットワーク層に対するアクティベーション機能としてこれら2つを交互に使用する。
本稿では,高次元関数グラフ分解法(HD-FGD)を提案する。
各分解項の部分微分の逆数を統合すると、その逆関数は分解過程の計算規則を参照して得られる。
ネットワーク敵法の使用やHD-FGDのみの使用は、従来のMLP+アクティベーション機能モードを効果的に置き換えることができる。
以上の方法により,トレーニング効率と予測精度の両面で,標準活性化関数よりも大幅に向上した。
この記事では、いくつかのアクティベーション関数に関連する敵問題に対処し、副作用なく既存のモデルにシームレスに統合できる代替案を提示している。
カンファレンスのレビュープロセスが完了した後、コードをオープンソースとして公開します。
関連論文リスト
- Parametric Leaky Tanh: A New Hybrid Activation Function for Deep
Learning [0.0]
活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である
本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。
PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
論文 参考訳（メタデータ） (2023-08-11T08:59:27Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Unification of popular artificial neural network activation functions [0.0]
本稿では,最も一般的なニューラルネットワーク活性化関数の統一表現について述べる。
分数計算のMittag-Leffler関数を採用することにより、フレキシブルでコンパクトな関数形式を提案する。
論文 参考訳（メタデータ） (2023-02-21T21:20:59Z) - Data-aware customization of activation functions reduces neural network
error [0.35172332086962865]
本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。
既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
論文 参考訳（メタデータ） (2023-01-16T23:38:37Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳（メタデータ） (2022-02-13T10:54:59Z) - Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。
この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。
これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
論文 参考訳（メタデータ） (2021-06-21T03:04:51Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Activation functions are not needed: the ratio net [3.9636371287541086]
本稿では,新しい関数近似器の設計に焦点をあてる。
新しいアクティベーション関数やカーネル関数を設計する代わりに、新しい提案されたネットワークは分数形式を使用する。
その結果、ほとんどの場合、比率ネットはより速く収束し、分類とRBFの両方を上回っていることがわかった。
論文 参考訳（メタデータ） (2020-05-14T01:07:56Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳（メタデータ） (2020-04-06T19:52:48Z) - Investigating the interaction between gradient-only line searches and
different activation functions [0.0]
勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。
GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
論文 参考訳（メタデータ） (2020-02-23T12:28:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。