論文の概要: Expressivity and Trainability of Quadratic Networks
- arxiv url: http://arxiv.org/abs/2110.06081v1
- Date: Tue, 12 Oct 2021 15:33:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-13 17:42:51.317096
- Title: Expressivity and Trainability of Quadratic Networks
- Title（参考訳）: 二次ネットワークの表現性とトレーサビリティ
- Authors: Feng-Lei Fan, Mengzhou Li, Fei Wang, Rongjie Lai, Ge Wang
- Abstract要約: 二次人工ニューロンは 深層学習モデルにおいて 重要な役割を担います
従来のネットワークまたは2次活性化によるネットワーク上での二次ネットワークの優れた表現性は、完全には解明されない。
本稿では,2次ネットワークのトレーニングプロセスを安定化するための,効果的かつ効率的なトレーニング戦略を提案する。
- 参考スコア（独自算出の注目度）: 12.998122147136959
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by diversity of biological neurons, quadratic artificial neurons can
play an important role in deep learning models. The type of quadratic neurons
of our interest replaces the inner-product operation in the conventional neuron
with a quadratic function. Despite promising results so far achieved by
networks of quadratic neurons, there are important issues not well addressed.
Theoretically, the superior expressivity of a quadratic network over either a
conventional network or a conventional network via quadratic activation is not
fully elucidated, which makes the use of quadratic networks not well grounded.
Practically, although a quadratic network can be trained via generic
backpropagation, it can be subject to a higher risk of collapse than the
conventional counterpart. To address these issues, we first apply the spline
theory and a measure from algebraic geometry to give two theorems that
demonstrate better model expressivity of a quadratic network than the
conventional counterpart with or without quadratic activation. Then, we propose
an effective and efficient training strategy referred to as ReLinear to
stabilize the training process of a quadratic network, thereby unleashing the
full potential in its associated machine learning tasks. Comprehensive
experiments on popular datasets are performed to support our findings and
evaluate the performance of quadratic deep learning.
- Abstract（参考訳）: 生物ニューロンの多様性にインスパイアされた二次人工ニューロンは、ディープラーニングモデルにおいて重要な役割を果たす。
我々の関心を持つ二次ニューロンの種類は、通常のニューロンの内積操作を二次機能に置き換える。
これまでは二次ニューロンのネットワークによって有望な結果が得られたが、未解決の重要な問題がある。
理論的には、従来のネットワークまたは2次活性化による従来のネットワークよりも優れた2次ネットワークの表現性は、完全には解明されておらず、2次ネットワークの使用は不十分である。
実際には、二次ネットワークは一般的なバックプロパゲーションによって訓練できるが、従来のネットワークよりも崩壊のリスクが高い。
これらの問題に対処するために、まずスプライン理論と代数幾何学からの測度を適用して、2次ネットワークのモデル表現性を示す2つの定理を与える。
そこで本研究では,ReLinearと呼ばれる2次ネットワークのトレーニングプロセスを安定させ,関連する機械学習タスクの潜在能力を最大限に活用するための,効果的で効率的なトレーニング戦略を提案する。
一般的なデータセットに関する総合的な実験を行い,2次深層学習の性能評価を行った。
関連論文リスト
- LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - QuadraNet V2: Efficient and Sustainable Training of High-Order Neural Networks with Quadratic Adaptation [25.003305443114296]
本稿では,2次ニューラルネットワークを活用して高次学習モデルを効率的に構築する新しいフレームワークであるQuadraNet V2を紹介する。
本手法は、標準ニューラルネットワークを用いて二次ニューロンの一次項を初期化し、二次項を用いて非線形性やシフトの学習を適応的に強化する。
既存のトレーニング済み重量を利用することで、QuadraNet V2は、スクラッチからのトレーニングと比較して、トレーニングに必要なGPU時間を90%から98.4%削減し、効率と有効性を実証する。
論文 参考訳（メタデータ） (2024-05-06T06:31:47Z) - Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons [1.6574413179773761]
本稿では,1つの二次ニューロンを用いたXOR問題の解法を提案する。
これは$mathcalC$境界クラスタからなる任意のデータセットが、$mathcalC$二次ニューロンの単一の層でのみ分離可能であることを示している。
論文 参考訳（メタデータ） (2023-10-04T15:39:57Z) - One Neuron Saved Is One Neuron Earned: On Parametric Efficiency of
Quadratic Networks [21.5187335186035]
二次ネットワークがパラメトリック効率を享受していることを示し、それによって二次ネットワークの優れた性能が本質的な表現能力に起因することを確かめる。
バロン空間の観点からは、次元自由誤差で二次ネットワークで近似できる函数空間が存在することを示す。
論文 参考訳（メタデータ） (2023-03-11T05:32:18Z) - Attention-embedded Quadratic Network (Qttention) for Effective and
Interpretable Bearing Fault Diagnosis [0.31317409221921144]
軸受故障診断は、回転機械の損傷リスクを低減し、さらに経済利益を向上させるために非常に重要である。
近年, 深層学習に代表される機械学習は, 断層診断に大きく進歩している。
そのようなタスクにディープラーニングを適用することは、依然として2つの大きな問題に直面している。
論文 参考訳（メタデータ） (2022-06-01T10:51:01Z) - Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student
Settings and its Superiority to Kernel Methods [58.44819696433327]
教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。
学生ネットワークは、どの解法よりも確実に優れていることがわかった。
論文 参考訳（メタデータ） (2022-05-30T02:51:36Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳（メタデータ） (2020-12-30T18:46:50Z) - Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。
2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
論文 参考訳（メタデータ） (2019-12-31T22:31:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。