Fugu-MT 論文翻訳(概要): Deep orthogonal linear networks are shallow

論文の概要: Deep orthogonal linear networks are shallow

arxiv url: http://arxiv.org/abs/2011.13831v1
Date: Fri, 27 Nov 2020 16:57:19 GMT
ステータス: 処理完了
システム内更新日: 2022-09-20 01:47:55.489709
Title: Deep orthogonal linear networks are shallow
Title（参考訳）: 深い直交線形ネットワークは浅い
Authors: Pierre Ablin
Abstract要約: 勾配勾配降下による重みのトレーニングは、勾配勾配降下による全因子化のトレーニングと等価であることを示す。これは、この設定では過度なパラメータ化と暗黙のバイアスがまったく影響しないことを意味する。
参考スコア（独自算出の注目度）: 9.434391240650266
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider the problem of training a deep orthogonal linear network, which consists of a product of orthogonal matrices, with no non-linearity in-between. We show that training the weights with Riemannian gradient descent is equivalent to training the whole factorization by gradient descent. This means that there is no effect of overparametrization and implicit bias at all in this setting: training such a deep, overparametrized, network is perfectly equivalent to training a one-layer shallow network.
Abstract（参考訳）: 直交行列の積からなる深い直交線形ネットワークをトレーニングする際の問題を考える。リーマン勾配降下を伴う重みの訓練は、勾配降下による因子化全体の訓練と等価であることを示す。つまり、この設定では、過パラメータ化と暗黙のバイアスが全く影響しない:そのような深層で過パラメータ化されたネットワークのトレーニングは、一層浅層ネットワークのトレーニングと完全に等価である。

関連論文リスト

Training on the Edge of Stability Is Caused by Layerwise Jacobian Alignment [0.0]
我々は指数的解法を用いて、安定性の端に入ることなくニューラルネットワークを訓練する。実験により,ヘッセン行列の鋭さの増加は,ネットワークの層状ジャコビアン行列の整合性によって引き起こされることを示した。
論文参考訳（メタデータ） (2024-05-31T18:37:06Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
論文参考訳（メタデータ） (2022-01-28T07:31:19Z)
A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
論文参考訳（メタデータ） (2020-10-06T06:08:35Z)
On the linearity of large non-linear models: when and why the tangent kernel is constant [20.44438519046223]
我々は、その幅が無限に近づくにつれて、あるニューラルネットワークの線形性への移行という驚くべき現象に光を当てた。モデルの線形性への遷移と等価に、ネットワークのヘッセン行列のノルムのスケーリング特性から、(神経)接核(NTK)の定数が生じることを示す。
論文参考訳（メタデータ） (2020-10-02T16:44:45Z)
From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines [63.011641517977644]
ディープネットワークを等価な(不確定な)カーネルマシンに変換します。次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
論文参考訳（メタデータ） (2020-07-15T03:21:35Z)
Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文参考訳（メタデータ） (2020-05-04T20:03:21Z)
Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。我々の手法は収束特性が良く、最先端の結果が得られます。
論文参考訳（メタデータ） (2020-04-15T04:29:34Z)
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。これは、トレーニング損失が一定の精度まで線形に収束することを意味する。また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文参考訳（メタデータ） (2020-02-10T18:56:15Z)
On the Convex Behavior of Deep Neural Networks in Relation to the Layers' Width [99.24399270311069]
より広いネットワークにおいて、降下最適化による損失を最小限に抑え、トレーニングの開始時と終了時に正の曲率の表面を貫き、その間の曲率をほぼゼロにすることを観察する。言い換えれば、トレーニングプロセスの重要な部分において、広いネットワークにおけるヘッセンはG成分によって支配されているようである。
論文参考訳（メタデータ） (2020-01-14T16:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。