論文の概要: On Expressivity and Trainability of Quadratic Networks
- arxiv url: http://arxiv.org/abs/2110.06081v3
- Date: Sat, 9 Sep 2023 02:15:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 23:51:57.242523
- Title: On Expressivity and Trainability of Quadratic Networks
- Title（参考訳）: 二次ネットワークの表現性とトレーサビリティについて
- Authors: Feng-Lei Fan, Mengzhou Li, Fei Wang, Rongjie Lai, Ge Wang
- Abstract要約: 二次人工ニューロンは 深層学習モデルにおいて 重要な役割を担います
従来のネットワークと従来のネットワークのどちらよりも優れた2次ネットワークの表現性は、完全には解明されていないことを示す。
本稿では,2次ネットワークのトレーニングプロセスを安定化させるために,ReLinearと呼ばれる効果的なトレーニング戦略を提案する。
- 参考スコア（独自算出の注目度）: 12.878230964137014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by the diversity of biological neurons, quadratic artificial neurons
can play an important role in deep learning models. The type of quadratic
neurons of our interest replaces the inner-product operation in the
conventional neuron with a quadratic function. Despite promising results so far
achieved by networks of quadratic neurons, there are important issues not well
addressed. Theoretically, the superior expressivity of a quadratic network over
either a conventional network or a conventional network via quadratic
activation is not fully elucidated, which makes the use of quadratic networks
not well grounded. Practically, although a quadratic network can be trained via
generic backpropagation, it can be subject to a higher risk of collapse than
the conventional counterpart. To address these issues, we first apply the
spline theory and a measure from algebraic geometry to give two theorems that
demonstrate better model expressivity of a quadratic network than the
conventional counterpart with or without quadratic activation. Then, we propose
an effective training strategy referred to as ReLinear to stabilize the
training process of a quadratic network, thereby unleashing the full potential
in its associated machine learning tasks. Comprehensive experiments on popular
datasets are performed to support our findings and confirm the performance of
quadratic deep learning. We have shared our code in
\url{https://github.com/FengleiFan/ReLinear}.
- Abstract（参考訳）: 生物ニューロンの多様性にインスパイアされた二次人工ニューロンは、ディープラーニングモデルにおいて重要な役割を果たす。
我々の関心を持つ二次ニューロンの種類は、通常のニューロンの内積操作を二次機能に置き換える。
これまでは二次ニューロンのネットワークによって有望な結果が得られたが、未解決の重要な問題がある。
理論的には、従来のネットワークまたは2次活性化による従来のネットワークよりも優れた2次ネットワークの表現性は、完全には解明されておらず、2次ネットワークの使用は不十分である。
実際には、二次ネットワークは一般的なバックプロパゲーションによって訓練できるが、従来のネットワークよりも崩壊のリスクが高い。
これらの問題に対処するために、まずスプライン理論と代数幾何学からの測度を適用して、2次ネットワークのモデル表現性を示す2つの定理を与える。
次に、ReLinearと呼ばれる効果的なトレーニング戦略を提案し、二次ネットワークのトレーニングプロセスを安定化させ、関連する機械学習タスクのポテンシャルを解放する。
一般的なデータセットに関する総合的な実験を行い,2次深層学習の性能を確認した。
コードを共有したのは \url{https://github.com/FengleiFan/ReLinear} です。
関連論文リスト
- LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - QuadraNet V2: Efficient and Sustainable Training of High-Order Neural Networks with Quadratic Adaptation [25.003305443114296]
本稿では,2次ニューラルネットワークを活用して高次学習モデルを効率的に構築する新しいフレームワークであるQuadraNet V2を紹介する。
本手法は、標準ニューラルネットワークを用いて二次ニューロンの一次項を初期化し、二次項を用いて非線形性やシフトの学習を適応的に強化する。
既存のトレーニング済み重量を利用することで、QuadraNet V2は、スクラッチからのトレーニングと比較して、トレーニングに必要なGPU時間を90%から98.4%削減し、効率と有効性を実証する。
論文 参考訳（メタデータ） (2024-05-06T06:31:47Z) - Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons [1.6574413179773761]
本稿では,1つの二次ニューロンを用いたXOR問題の解法を提案する。
これは$mathcalC$境界クラスタからなる任意のデータセットが、$mathcalC$二次ニューロンの単一の層でのみ分離可能であることを示している。
論文 参考訳（メタデータ） (2023-10-04T15:39:57Z) - One Neuron Saved Is One Neuron Earned: On Parametric Efficiency of
Quadratic Networks [21.5187335186035]
二次ネットワークがパラメトリック効率を享受していることを示し、それによって二次ネットワークの優れた性能が本質的な表現能力に起因することを確かめる。
バロン空間の観点からは、次元自由誤差で二次ネットワークで近似できる函数空間が存在することを示す。
論文 参考訳（メタデータ） (2023-03-11T05:32:18Z) - Attention-embedded Quadratic Network (Qttention) for Effective and
Interpretable Bearing Fault Diagnosis [0.31317409221921144]
軸受故障診断は、回転機械の損傷リスクを低減し、さらに経済利益を向上させるために非常に重要である。
近年, 深層学習に代表される機械学習は, 断層診断に大きく進歩している。
そのようなタスクにディープラーニングを適用することは、依然として2つの大きな問題に直面している。
論文 参考訳（メタデータ） (2022-06-01T10:51:01Z) - Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student
Settings and its Superiority to Kernel Methods [58.44819696433327]
教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。
学生ネットワークは、どの解法よりも確実に優れていることがわかった。
論文 参考訳（メタデータ） (2022-05-30T02:51:36Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳（メタデータ） (2020-12-30T18:46:50Z) - Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。
2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
論文 参考訳（メタデータ） (2019-12-31T22:31:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。