論文の概要: Optimal Input Gain: All You Need to Supercharge a Feed-Forward Neural Network

• arxiv url: http://arxiv.org/abs/2303.17732v1
• Date: Thu, 30 Mar 2023 22:20:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 15:47:53.070310
• Title: Optimal Input Gain: All You Need to Supercharge a Feed-Forward Neural Network
• Title（参考訳）: 最適な入力ゲイン:フィードフォワードニューラルネットワークをスーパーチャージするだけ
• Authors: Chinmay Rane, Kanishka Tyagi, Sanjeev Malalur, Yash Shinge, Michael Manry
• Abstract要約: 線形変換を用いた前処理入力は, 負の勾配行列を学習繰り返し毎の自己相関行列に乗じることと等価であることが示されている。 OIGが改良したHWOは、より複雑なディープラーニングアーキテクチャのための重要なビルディングブロックになり得ることが示されている。
• 参考スコア（独自算出の注目度）: 0.6562256987706128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear transformation of the inputs alters the training performance of feed-forward networks that are otherwise equivalent. However, most linear transforms are viewed as a pre-processing operation separate from the actual training. Starting from equivalent networks, it is shown that pre-processing inputs using linear transformation are equivalent to multiplying the negative gradient matrix with an autocorrelation matrix per training iteration. Second order method is proposed to find the autocorrelation matrix that maximizes learning in a given iteration. When the autocorrelation matrix is diagonal, the method optimizes input gains. This optimal input gain (OIG) approach is used to improve two first-order two-stage training algorithms, namely back-propagation (BP) and hidden weight optimization (HWO), which alternately update the input weights and solve linear equations for output weights. Results show that the proposed OIG approach greatly enhances the performance of the first-order algorithms, often allowing them to rival the popular Levenberg-Marquardt approach with far less computation. It is shown that HWO is equivalent to BP with Whitening transformation applied to the inputs. HWO effectively combines Whitening transformation with learning. Thus, OIG improved HWO could be a significant building block to more complex deep learning architectures.
• Abstract（参考訳）: 入力の線形変換は、それ以外は等価なフィードフォワードネットワークのトレーニング性能を変化させる。 しかし、ほとんどの線形変換は実際のトレーニングとは別個の前処理操作と見なされる。 等価ネットワークから、線形変換を用いた前処理入力は、トレーニングイテレーション毎に負の勾配行列と自己相関行列を乗じることと等価であることが示されている。 繰り返しの学習を最大化する自己相関行列を求めるために, 2次手法を提案する。 自己相関行列が対角的であれば、入力ゲインを最適化する。 この最適入力ゲイン(OIG)アプローチは、入力重みを交互に更新し、出力重みに対する線形方程式を解く、バックプロパゲーション(BP)と隠れ重み最適化(HWO)の2つの一階2段階トレーニングアルゴリズムを改善するために用いられる。 その結果,提案手法は一階アルゴリズムの性能を大幅に向上させ,より少ない計算量で一般的なレベンバーグ・マーカルト法に匹敵する結果が得られた。 HWOはWhitening変換を入力に適用したBPと等価であることが示されている。 HWOは、ホワイトニング変換と学習を効果的に組み合わせている。 したがって、OIGの改善されたHWOは、より複雑なディープラーニングアーキテクチャへの重要なビルディングブロックになり得る。

関連論文リスト

• Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors [16.04850782310842]
  我々は反復最適化アルゴリズムをアンロールすることで、解釈可能で軽量なトランスフォーマーのようなニューラルネットワークを構築する。 正規化信号依存グラフ学習モジュールは、従来の変圧器の基本自己保持機構の変種に相当する。
  論文  参考訳（メタデータ） (2024-06-06T14:01:28Z)
• Automated Sizing and Training of Efficient Deep Autoencoders using Second Order Algorithms [0.46040036610482665]
  一般化線形分類器の多段階学習法を提案する。 検証エラーは不要な入力のプルーニングによって最小化される。 所望の出力は、Ho-Kashyapルールに似た方法で改善される。
  論文  参考訳（メタデータ） (2023-08-11T16:48:31Z)
• Efficient Bayesian Optimization with Deep Kernel Learning and Transformer Pre-trained on Multiple Heterogeneous Datasets [9.510327380529892]
  本稿では,トランスフォーマーベースのエンコーダから学習した深い特徴に基づいてカーネルが定義されたガウス過程(GP)であるサロゲートを事前訓練する簡単な手法を提案する。 総合的および実ベンチマーク問題に対する実験は,提案した事前学習および転送BO戦略の有効性を実証するものである。
  論文  参考訳（メタデータ） (2023-08-09T01:56:10Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models [15.541264326378366]
  近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。 トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。 本稿では,この計算ボトルネックに対処する新たな手法を提案する。
  論文  参考訳（メタデータ） (2021-06-01T15:07:34Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Feature Whitening via Gradient Transformation for Improved Convergence [3.5579740292581]
  機能白化の複雑さの欠点に対処する。 サンプル変換を重み勾配への変換によって置き換える等価な手法をBサンプルの各バッチに適用する。 CIFAR と Imagenet データセットで実証された画像分類のためのResNet ベースのネットワークを用いて提案アルゴリズムを例示する。
  論文  参考訳（メタデータ） (2020-10-04T11:30:20Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。