論文の概要: Automated Sizing and Training of Efficient Deep Autoencoders using Second Order Algorithms

• arxiv url: http://arxiv.org/abs/2308.06221v2
• Date: Wed, 13 Dec 2023 13:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-16 04:31:55.089926
• Title: Automated Sizing and Training of Efficient Deep Autoencoders using Second Order Algorithms
• Title（参考訳）: 2次アルゴリズムを用いた高効率深部オートエンコーダの自動サイズとトレーニング
• Authors: Kanishka Tyagi, Chinmay Rane, Michael Manry
• Abstract要約: 一般化線形分類器の多段階学習法を提案する。 検証エラーは不要な入力のプルーニングによって最小化される。 所望の出力は、Ho-Kashyapルールに似た方法で改善される。
• 参考スコア（独自算出の注目度）: 0.46040036610482665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a multi-step training method for designing generalized linear classifiers. First, an initial multi-class linear classifier is found through regression. Then validation error is minimized by pruning of unnecessary inputs. Simultaneously, desired outputs are improved via a method similar to the Ho-Kashyap rule. Next, the output discriminants are scaled to be net functions of sigmoidal output units in a generalized linear classifier. We then develop a family of batch training algorithm for the multi layer perceptron that optimizes its hidden layer size and number of training epochs. Next, we combine pruning with a growing approach. Later, the input units are scaled to be the net function of the sigmoidal output units that are then feed into as input to the MLP. We then propose resulting improvements in each of the deep learning blocks thereby improving the overall performance of the deep architecture. We discuss the principles and formulation regarding learning algorithms for deep autoencoders. We investigate several problems in deep autoencoders networks including training issues, the theoretical, mathematical and experimental justification that the networks are linear, optimizing the number of hidden units in each layer and determining the depth of the deep learning model. A direct implication of the current work is the ability to construct fast deep learning models using desktop level computational resources. This, in our opinion, promotes our design philosophy of building small but powerful algorithms. Performance gains are demonstrated at each step. Using widely available datasets, the final network's ten fold testing error is shown to be less than that of several other linear, generalized linear classifiers, multi layer perceptron and deep learners reported in the literature.
• Abstract（参考訳）: 一般化線形分類器を設計するための多段階学習法を提案する。 まず、回帰によって初期多クラス線形分類器が見つかる。 そして、不要な入力をプルーニングすることで検証誤差を最小化する。 同時に、望まれる出力はHo-Kashyapルールに似た方法で改善される。 次に、出力判別剤を一般化線形分類器におけるシグモダル出力単位のネット関数にスケールする。 次に,多層パーセプトロンのためのバッチ学習アルゴリズム群を開発し,その隠れ層サイズと学習エポック数の最適化を行う。 次に、育種と成長するアプローチを組み合わせる。 その後、入力ユニットは、mlpへの入力として供給されるsgmoidal output unitのネット関数としてスケールされる。 そこで我々は,深層アーキテクチャの全体的な性能を改善するために,各深層学習ブロックの改善を提案している。 ディープオートエンコーダの学習アルゴリズムに関する原理と定式化について議論する。 本稿では,訓練問題,ネットワークが線形であることの理論的,数学的,実験的正当化,各層に隠された単位数の最適化,深層学習モデルの深度決定など,深層オートエンコーダネットワークの諸問題について検討する。 現在の研究の直接的な意味は、デスクトップレベルの計算リソースを使用して高速ディープラーニングモデルを構築する能力である。 これは、私たちの意見では、小さくて強力なアルゴリズムを構築するというデザイン哲学を促進するものです。 それぞれのステップでパフォーマンス向上が示されます。 広く利用可能なデータセットを使用して、ファイナルネットワークの10フォールドテストエラーは、文献で報告されている他の線形、一般化線形分類器、多層パーセプトロン、深層学習者よりも少ないことが示されている。

関連論文リスト

• Distributive Pre-Training of Generative Modeling Using Matrix-Product States [0.0]
  本稿では,基本的なテンソルネットワーク操作,例えば和と圧縮を利用した代替的なトレーニング手法を検討する。 トレーニングアルゴリズムは、製品状態表現におけるすべてのトレーニングデータから構築された重ね合わせ状態を圧縮する。 MNISTデータセット上でアルゴリズムをベンチマークし、新しい画像と分類タスクを生成するための妥当な結果を示す。
  論文  参考訳（メタデータ） (2023-06-26T15:46:08Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Unsupervised Learning of Initialization in Deep Neural Networks via Maximum Mean Discrepancy [74.34895342081407]
  本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。 まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。 次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
  論文  参考訳（メタデータ） (2023-02-08T23:23:28Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
  低ランクニューラルネットワークの学習アルゴリズムについて検討する。 単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。 低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-02T01:08:29Z)
• Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing [4.4886210896619945]
  本稿では,トレーニング中の計算コストの高い行列操作を回避する改良型RVFLネットワークを提案する。 提案手法は,UCI Machine Learning Repositoryから取得したデータセットの集合に対して,最先端の精度を達成した。
  論文  参考訳（メタデータ） (2021-06-17T21:17:17Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• An Effective and Efficient Initialization Scheme for Training Multi-layer Feedforward Neural Networks [5.161531917413708]
  本稿では,有名なスタインの身元に基づく新しいネットワーク初期化手法を提案する。 提案したSteinGLM法は、ニューラルネットワークのトレーニングによく使われる他の一般的な手法よりもはるかに高速で高精度であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T16:17:37Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。