論文の概要: Neural Networks with Complex-Valued Weights Have No Spurious Local
Minima
- arxiv url: http://arxiv.org/abs/2103.07287v1
- Date: Sun, 31 Jan 2021 10:44:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 00:29:19.679315
- Title: Neural Networks with Complex-Valued Weights Have No Spurious Local
Minima
- Title(参考訳): 複雑な重みを持つニューラルネットワークは、すっきりした局所最小値を持たない
- Authors: Xingtu Liu
- Abstract要約: 二次活性化を持つ浅層複雑なニューラルネットワークは局所的ミニマムを持たないことが証明される。
対照的に、二次活性化を持つ浅い実ニューラルネットワークは、同じ条件下で無限に多くのスプリアス局所ミニマを有する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the benefits of complex-valued weights for neural networks. We prove
that shallow complex neural networks with quadratic activations have no
spurious local minima. In contrast, shallow real neural networks with quadratic
activations have infinitely many spurious local minima under the same
conditions. In addition, we provide specific examples to demonstrate that
complex-valued weights turn poor local minima into saddle points. The
activation function CReLU is also discussed to illustrate the superiority of
analytic activations in complex-valued neural networks.
- Abstract(参考訳): ニューラルネットワークにおける複素値重みの利点について検討する。
二次活性化を持つ浅層複雑なニューラルネットワークは局所的ミニマムを持たないことが証明される。
対照的に、2次活性化を持つ浅い実ニューラルネットワークは、同じ条件下で無限に多くの刺激的な局所ミニマを持つ。
さらに,複素値重みが局所的な極小点を鞍点に変換することを示す具体例を示す。
また、複素数値ニューラルネットワークにおける解析活性化の優位性を示すために、アクティベーション関数CReLUについても論じる。
関連論文リスト
- On Minimal Depth in Neural Networks [0.0]
ニューラルネットワークの表現可能性の特徴は、人工知能における彼らの成功を理解することに関係している。
本研究では, ReLU ニューラルネットワークの表現性と, 連続的ピースワイド線形関数 (CPWL) の表現に必要な最小深度に関する予想との関係について検討する。
トピックは、和と最大演算の最小深度表現であり、ポリトープニューラルネットワークの探索である。
論文 参考訳(メタデータ) (2024-02-23T13:34:03Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳(メタデータ) (2023-03-07T18:59:38Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳(メタデータ) (2022-02-27T23:12:43Z) - Exponentially Many Local Minima in Quantum Neural Networks [9.442139459221785]
量子ニューラルネットワーク(QNN)は、古典的ニューラルネットワークと同じような約束のため、重要な量子アプリケーションである。
我々は,QNNの損失関数のランドスケープを定量的に調査し,トレーニング用に単純だが極めて難しいQNNインスタンスのクラスを同定する。
我々は、我々の構成が、典型的な勾配ベースの回路で実際に難しい事例となることを実証的に確認する。
論文 参考訳(メタデータ) (2021-10-06T03:23:44Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳(メタデータ) (2021-08-15T10:13:49Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳(メタデータ) (2021-05-20T04:54:57Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Piecewise linear activations substantially shape the loss surfaces of
neural networks [95.73230376153872]
本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。
我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。
一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
論文 参考訳(メタデータ) (2020-03-27T04:59:34Z) - Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。
2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
論文 参考訳(メタデータ) (2019-12-31T22:31:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。