Fugu-MT 論文翻訳(概要): Neural Networks with Complex-Valued Weights Have No Spurious Local Minima

論文の概要: Neural Networks with Complex-Valued Weights Have No Spurious Local Minima

arxiv url: http://arxiv.org/abs/2103.07287v2
Date: Tue, 12 Nov 2024 13:51:57 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-17 16:50:45.979896
Title: Neural Networks with Complex-Valued Weights Have No Spurious Local Minima
Title（参考訳）: 複雑な重みを持つニューラルネットワークは、すっきりした局所最小値を持たない
Authors: Xingtu Liu,
Abstract要約: 2次アクティベーションを持つ浅部複雑ニューラルネットワークは局所的最小値を持たないことが証明された。対照的に、2次活性化を持つ浅い実ニューラルネットワークは、同じ条件下で無限に多くの刺激的な局所ミニマを持つ。
参考スコア（独自算出の注目度）: 1.8130068086063336
License:
Abstract: We study the benefits of complex-valued weights for neural networks. We prove that shallow complex neural networks with quadratic activations have no spurious local minima. In contrast, shallow real neural networks with quadratic activations have infinitely many spurious local minima under the same conditions. In addition, we provide specific examples to demonstrate that complex-valued weights turn poor local minima into saddle points.
Abstract（参考訳）: ニューラルネットワークにおける複素数値重みの利点について検討する。 2次アクティベーションを持つ浅部複雑ニューラルネットワークは局所的最小値を持たないことが証明された。対照的に、2次活性化を持つ浅い実ニューラルネットワークは、同じ条件下で無限に多くの刺激的な局所ミニマを持つ。さらに、複雑な値の重みが貧弱な局所ミニマをサドルポイントにすることを示す具体的な例を示す。

関連論文リスト

Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Nonparametric regression using over-parameterized shallow ReLU neural networks [10.339057554827392]
ニューラルネットワークは、ある滑らかな関数クラスから関数を学習するために、最小収束率(対数係数まで)を達成することができることを示す。回帰関数は、滑らかな$alpha(d+3)/2$あるいは浅いニューラルネットワークに対応する変分空間を持つH"古い空間から来ていると仮定される。副産物として、浅いReLUニューラルネットワークの局所ラデマッハ複雑性に対する新しいサイズ非依存境界を導出する。
論文参考訳（メタデータ） (2023-06-14T07:42:37Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文参考訳（メタデータ） (2022-06-22T23:33:39Z)
Local Identifiability of Deep ReLU Neural Networks: the Theory [0.0]
重みのいくつかを固定することにより、与えられた深部ReLUニューラルネットワークの新しい局所パラメータ化を導入する。我々はこの便利な表現から、局所的識別可能性の幾何学的必要十分条件を導出する。この条件の妥当性は、バックプロパゲーションと行列ランク計算を用いて検証することができる。
論文参考訳（メタデータ） (2022-06-15T09:54:18Z)
Exponentially Many Local Minima in Quantum Neural Networks [9.442139459221785]
量子ニューラルネットワーク(QNN)は、古典的ニューラルネットワークと同じような約束のため、重要な量子アプリケーションである。我々は,QNNの損失関数のランドスケープを定量的に調査し,トレーニング用に単純だが極めて難しいQNNインスタンスのクラスを同定する。我々は、我々の構成が、典型的な勾配ベースの回路で実際に難しい事例となることを実証的に確認する。
論文参考訳（メタデータ） (2021-10-06T03:23:44Z)
Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。 Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
論文参考訳（メタデータ） (2021-09-02T13:58:12Z)
Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文参考訳（メタデータ） (2021-08-15T10:13:49Z)
Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文参考訳（メタデータ） (2020-12-31T18:53:25Z)
Piecewise linear activations substantially shape the loss surfaces of neural networks [95.73230376153872]
本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
論文参考訳（メタデータ） (2020-03-27T04:59:34Z)
Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。 2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
論文参考訳（メタデータ） (2019-12-31T22:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。