論文の概要: A Note on Dimensionality Reduction in Deep Neural Networks using Empirical Interpolation Method

• arxiv url: http://arxiv.org/abs/2305.09842v1
• Date: Tue, 16 May 2023 22:49:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 18:11:51.660055
• Title: A Note on Dimensionality Reduction in Deep Neural Networks using Empirical Interpolation Method
• Title（参考訳）: 経験的補間法による深層ニューラルネットワークの次元化に関する一考察
• Authors: Harbir Antil, Madhu Gupta, and Randy Price
• Abstract要約: 経験的手法 (EIM) はパラメータ化関数を効率的に近似する手法としてよく知られている。 本稿では,教師付き機械学習におけるトレーニングデータの次元を効率的に削減するために,EMMアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical interpolation method (EIM) is a well-known technique to efficiently approximate parameterized functions. This paper proposes to use EIM algorithm to efficiently reduce the dimension of the training data within supervised machine learning. This is termed as DNN-EIM. Applications in data science (e.g., MNIST) and parameterized (and time-dependent) partial differential equations (PDEs) are considered. The proposed DNNs in case of classification are trained in parallel for each class. This approach is sequential, i.e., new classes can be added without having to retrain the network. In case of PDEs, a DNN is designed corresponding to each EIM point. Again, these networks can be trained in parallel, for each EIM point. In all cases, the parallel networks require fewer than ten times the number of training weights. Significant gains are observed in terms of training times, without sacrificing accuracy.
• Abstract（参考訳）: 経験的補間法(EIM)はパラメータ化関数を効率的に近似する手法としてよく知られている。 本稿では,教師付き機械学習におけるトレーニングデータの次元を効率的に削減するために,EMMアルゴリズムを提案する。 これをDNN-EIMと呼ぶ。 データサイエンス(MNISTなど)やパラメータ化(および時間依存)偏微分方程式(PDE)の応用が検討されている。 分類の際に提案するDNNは,クラス毎に並列に訓練される。 このアプローチはシーケンシャルであり、ネットワークを再トレーニングすることなく新しいクラスを追加することができる。 PDEの場合、DNNは各EIMポイントに対応して設計される。 繰り返しますが、これらのネットワークはEIMポイントごとに並列にトレーニングできます。 いずれの場合も、並列ネットワークはトレーニング重量の10分の1以下を必要とする。 訓練時間は正確さを犠牲にすることなく大幅に向上する。

関連論文リスト

• Feed-Forward Neural Networks as a Mixed-Integer Program [0.0]
  本研究は手書き桁分類モデルを用いた実験を通じて提案手法の訓練と評価に焦点をあてる。 この研究は、トレーニングされたReLU NNの性能を評価し、NNのトレーニングプロセスの強化におけるMIP定式化の有効性に光を当てる。
  論文  参考訳（メタデータ） (2024-02-09T02:23:37Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Deep Learning Weight Pruning with RMT-SVD: Increasing Accuracy and Reducing Overfitting [0.0]
  ディープニューラルネットワーク(DNN)の重み層のスペクトルをランダム行列理論(RMT)の手法を用いて研究・理解することができる。 本研究では,これらのRTT手法を用いて, DNNの重み付け層から, 特異値分解(SVD)を通して, どれ程の特異値を取り除くべきかを判断する。 MNISTで訓練した単純なDNNモデルについて,その結果を示す。
  論文  参考訳（メタデータ） (2023-03-15T23:19:45Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Partitioning sparse deep neural networks for scalable training and inference [8.282177703075453]
  最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。 スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。 その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
  論文  参考訳（メタデータ） (2021-04-23T20:05:52Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Optimal training of integer-valued neural networks with mixed integer programming [2.528056693920671]
  我々は、トレーニング効率を改善し、整数値ニューラルネットワーク(INN)の重要なクラスをトレーニングできる新しいMIPモデルを開発した。 MIPソルバがトレーニングに使用できるデータ量を劇的に増加させるバッチトレーニング方法を提案する。 実世界の2つのデータ制限データセットによる実験結果から,我々の手法は,NNをMIPでトレーニングする際の従来の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-08T15:45:44Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。