論文の概要: Train Deep Neural Networks in 40-D Subspaces

• arxiv url: http://arxiv.org/abs/2103.11154v1
• Date: Sat, 20 Mar 2021 10:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 14:11:16.129816
• Title: Train Deep Neural Networks in 40-D Subspaces
• Title（参考訳）: 40次元部分空間におけるトレインディープニューラルネットワーク
• Authors: Tao Li, Lei Tan, Qinghua Tao, Yipeng Liu, Xiaolin Huang
• Abstract要約: 本稿では,パラメータ空間を有意に低次元の可変部分空間に劇的に縮小する動的線形次元低減(DLDR)を提案する。 ニューラルネットワークの本来のパラメータではなく,これらの変数をトレーニングするための準ニュートン型アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 31.138323581304633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although there are massive parameters in deep neural networks, the training can actually proceed in a rather low-dimensional space. By investigating such low-dimensional properties of the training trajectory, we propose a Dynamic Linear Dimensionality Reduction (DLDR), which dramatically reduces the parameter space to a variable subspace of significantly lower dimension. Since there are only a few variables to optimize, second-order methods become applicable. Following this idea, we develop a quasi-Newton-based algorithm to train these variables obtained by DLDR, rather than the original parameters of neural networks. The experimental results strongly support the dimensionality reduction performance: for many standard neural networks, optimizing over only 40 variables, one can achieve comparable performance against the regular training over thousands or even millions of parameters.
• Abstract（参考訳）: ディープニューラルネットワークには膨大なパラメータがあるが、トレーニングはかなり低次元の空間で進行することができる。 このような訓練軌跡の低次元特性を調べることにより,パラメータ空間を著しく低次元の可変部分空間に劇的に還元する動的線形次元化法(DLDR)を提案する。 最適化する変数はわずかであるので、二階法が適用できる。 この考え方に従い、ニューラルネットワークのパラメータではなく、dldrによって得られるこれらの変数をトレーニングする準ニュートンベースのアルゴリズムを開発した。 多くの標準ニューラルネットワークでは、たった40変数以上を最適化することで、数千から数百万のパラメータの通常のトレーニングに対して同等のパフォーマンスを達成できます。

関連論文リスト

• Parametric Taylor series based latent dynamics identification neural networks [0.3139093405260182]
  非線形力学の新しい潜在的同定法であるP-TLDINetを導入する。 これはテイラー級数展開とResNetsに基づく新しいニューラルネットワーク構造に依存している。
  論文  参考訳（メタデータ） (2024-10-05T15:10:32Z)
• Geometrical structures of digital fluctuations in parameter space of neural networks trained with adaptive momentum optimization [0.0]
  数値的なアーティファクトは,大規模モデルだけでなく,狭い狭いネットワークにおいても観測可能であることを示す。 我々は、この理論を、1600以上のニューラルネットワークで50万回以上のエポックで訓練された実験によって論じる。
  論文  参考訳（メタデータ） (2024-08-22T10:14:10Z)
• Sparsifying dimensionality reduction of PDE solution data with Bregman learning [1.2016264781280588]
  本稿では,エンコーダ・デコーダネットワークにおいて,パラメータ数を効果的に削減し,潜在空間を圧縮する多段階アルゴリズムを提案する。 従来のAdamのようなトレーニング手法と比較して、提案手法はパラメータが30%少なく、潜在空間が著しく小さいため、同様の精度が得られる。
  論文  参考訳（メタデータ） (2024-06-18T14:45:30Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Do deep neural networks utilize the weight space efficiently? [2.9914612342004503]
  TransformersやConvolutional Neural Networks(CNN)といったディープラーニングモデルは、さまざまなドメインに革命をもたらしたが、パラメータ集約的な自然ハマーをリソース制約された設定に配置する。 重み行列の列空間と行空間を利用する新しい概念を導入し、性能を損なうことなくモデルパラメータを大幅に削減する。 私たちのアプローチはBottleneck層とAttention層の両方に適用され、パラメータを効果的に半分にします。
  論文  参考訳（メタデータ） (2024-01-26T21:51:49Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Variational Inference for Infinitely Deep Neural Networks [0.4061135251278187]
  非有界深度ニューラルネットワーク(UDN) 我々は、無限に深い確率モデルである非有界深度ニューラルネットワーク(UDN)を導入し、その複雑さをトレーニングデータに適用する。 我々はUDNを実データと合成データに基づいて研究する。
  論文  参考訳（メタデータ） (2022-09-21T03:54:34Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。