Fugu-MT 論文翻訳(概要): Redundancy in Deep Linear Neural Networks

論文の概要: Redundancy in Deep Linear Neural Networks

arxiv url: http://arxiv.org/abs/2206.04490v1
Date: Thu, 9 Jun 2022 13:21:00 GMT
ステータス: 処理完了
システム内更新日: 2022-06-10 15:51:37.110247
Title: Redundancy in Deep Linear Neural Networks
Title（参考訳）: ディープ線形ニューラルネットワークにおける冗長性
Authors: Oriel BenShmuel
Abstract要約: 従来の知恵によれば、ディープ線形ニューラルネットワークは1つの線形層に対して表現性と最適化の利点を享受する。本稿では, 従来手法を用いた深層線形完全連結ネットワークのトレーニングプロセスが, 単層線形完全連結層と同じ方法で凸であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Conventional wisdom states that deep linear neural networks benefit from expressiveness and optimization advantages over a single linear layer. This paper suggests that, in practice, the training process of deep linear fully-connected networks using conventional optimizers is convex in the same manner as a single linear fully-connected layer. This paper aims to explain this claim and demonstrate it. Even though convolutional networks are not aligned with this description, this work aims to attain a new conceptual understanding of fully-connected linear networks that might shed light on the possible constraints of convolutional settings and non-linear architectures.
Abstract（参考訳）: 従来の知恵によれば、ディープ線形ニューラルネットワークは1つの線形層に対して表現性と最適化の利点を享受する。本稿では,従来のオプティマイザを用いたディープリニア完全接続ネットワークのトレーニングプロセスが,単一のリニア完全接続層と同じ方法で凸であることを示す。本稿では,この主張を説明し,実証することを目的とする。畳み込みネットワークはこの記述と一致していないが、この研究は、畳み込み設定や非線形アーキテクチャの制約に光を当てるかもしれない完全連結線形ネットワークの新たな概念的理解を達成することを目的としている。

関連論文リスト

Combining Explicit and Implicit Regularization for Efficient Learning in Deep Networks [3.04585143845864]
深い線形ネットワークでは、勾配勾配は行列の完備化/ファクトリゼーションタスクの低ランク解に対して暗黙的に正規化される。適応勾配の一般化にのみ作用するこの暗黙バイアスを反映した明示的なペナルティを提案する。この組み合わせにより、単層ネットワークは、深い線形ネットワークに匹敵する縮退誤差で低ランク近似を達成できる。
論文参考訳（メタデータ） (2023-06-01T04:47:17Z)
Learning Linear Embeddings for Non-Linear Network Dynamics with Koopman Message Passing [0.0]
我々は、クープマン作用素理論とメッセージパッシングネットワークに基づく新しいアプローチを提案する。動的システムに対する線形表現は,任意の段階において世界規模で有効である。本手法で得られた線形化は,現在の最先端技術よりも数桁優れたネットワーク力学問題に対して予測を行う。
論文参考訳（メタデータ） (2023-05-15T23:00:25Z)
Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文参考訳（メタデータ） (2021-11-02T20:24:01Z)
The Principles of Deep Learning Theory [19.33681537640272]
この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
論文参考訳（メタデータ） (2021-06-18T15:00:00Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction [32.489371527159236]
この研究は、データ圧縮と識別表現の原理から、現代の深層(畳み込み)ネットワークを解釈することを目的とした、妥当な理論フレームワークの提供を試みる。高次元マルチクラスデータに対して、最適な線形判別表現は、データセット全体と全てのサブセットの平均との符号化速度差を最大化することを示す。速度減少目標を最適化するための基本的反復的勾配上昇スキームは,現代のディープネットワークの共通特性を共有する多層ディープネットワークであるReduNetに自然に導かれることを示す。
論文参考訳（メタデータ） (2021-05-21T16:29:57Z)
Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文参考訳（メタデータ） (2021-05-15T11:44:49Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Deep Networks from the Principle of Rate Reduction [32.87280757001462]
この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
論文参考訳（メタデータ） (2020-10-27T06:01:43Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines [63.011641517977644]
ディープネットワークを等価な(不確定な)カーネルマシンに変換します。次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
論文参考訳（メタデータ） (2020-07-15T03:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。