Fugu-MT 論文翻訳(概要): Neural Networks with Complex-Valued Weights Have No Spurious Local Minima

論文の概要: Neural Networks with Complex-Valued Weights Have No Spurious Local Minima

arxiv url: http://arxiv.org/abs/2103.07287v2
Date: Tue, 12 Nov 2024 13:51:57 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-17 16:50:45.979896
Title: Neural Networks with Complex-Valued Weights Have No Spurious Local Minima
Title（参考訳）: 複雑な重みを持つニューラルネットワークは、すっきりした局所最小値を持たない
Authors: Xingtu Liu,
Abstract要約: 2次アクティベーションを持つ浅部複雑ニューラルネットワークは局所的最小値を持たないことが証明された。対照的に、2次活性化を持つ浅い実ニューラルネットワークは、同じ条件下で無限に多くの刺激的な局所ミニマを持つ。
参考スコア（独自算出の注目度）: 1.8130068086063336
License:
Abstract: We study the benefits of complex-valued weights for neural networks. We prove that shallow complex neural networks with quadratic activations have no spurious local minima. In contrast, shallow real neural networks with quadratic activations have infinitely many spurious local minima under the same conditions. In addition, we provide specific examples to demonstrate that complex-valued weights turn poor local minima into saddle points.
Abstract（参考訳）: ニューラルネットワークにおける複素数値重みの利点について検討する。 2次アクティベーションを持つ浅部複雑ニューラルネットワークは局所的最小値を持たないことが証明された。対照的に、2次活性化を持つ浅い実ニューラルネットワークは、同じ条件下で無限に多くの刺激的な局所ミニマを持つ。さらに、複雑な値の重みが貧弱な局所ミニマをサドルポイントにすることを示す具体的な例を示す。

関連論文リスト

Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文参考訳（メタデータ） (2022-06-22T23:33:39Z)
The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文参考訳（メタデータ） (2022-02-27T23:12:43Z)
Exponentially Many Local Minima in Quantum Neural Networks [9.442139459221785]
量子ニューラルネットワーク(QNN)は、古典的ニューラルネットワークと同じような約束のため、重要な量子アプリケーションである。我々は,QNNの損失関数のランドスケープを定量的に調査し,トレーニング用に単純だが極めて難しいQNNインスタンスのクラスを同定する。我々は、我々の構成が、典型的な勾配ベースの回路で実際に難しい事例となることを実証的に確認する。
論文参考訳（メタデータ） (2021-10-06T03:23:44Z)
Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文参考訳（メタデータ） (2021-08-15T10:13:49Z)
Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文参考訳（メタデータ） (2021-05-20T04:54:57Z)
Landscape analysis for shallow ReLU neural networks: complete classification of critical points for affine target functions [3.9103337761169947]
対象関数がアフィンである場合の臨界点の完全な分類を提供する。我々のアプローチは、reluニューラルネットワークで起こりうる様々な種類の隠れたニューロンを注意深く分析することに基づいている。
論文参考訳（メタデータ） (2021-03-19T17:35:01Z)
Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文参考訳（メタデータ） (2020-12-31T18:53:25Z)
Piecewise linear activations substantially shape the loss surfaces of neural networks [95.73230376153872]
本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
論文参考訳（メタデータ） (2020-03-27T04:59:34Z)
Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。 2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
論文参考訳（メタデータ） (2019-12-31T22:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。