論文の概要: A Closed-form Solution for Weight Optimization in Fully-connected Feed-forward Neural Networks
- arxiv url: http://arxiv.org/abs/2401.06699v2
- Date: Mon, 17 Jun 2024 07:16:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 06:54:55.228047
- Title: A Closed-form Solution for Weight Optimization in Fully-connected Feed-forward Neural Networks
- Title（参考訳）: 完全連結フィードフォワードニューラルネットワークにおける重み最適化のための閉形式解法
- Authors: Slavisa Tomic, João Pedro Matos-Carvalho, Marko Beko,
- Abstract要約: 本研究は、完全連結フィードフォワードニューラルネットワークにおける重み付け最適化問題に対処する。
提案手法は最小二乗法 (LS) を用いて閉形式における重み最適化の解を提供する。
シミュレーションおよび実験結果から,提案手法であるBPLSは,既存の手法と精度で競合するが,実行時間ではかなり上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 2.1301560294088318
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This work addresses weight optimization problem for fully-connected feed-forward neural networks. Unlike existing approaches that are based on back-propagation (BP) and chain rule gradient-based optimization (which implies iterative execution, potentially burdensome and time-consuming in some cases), the proposed approach offers the solution for weight optimization in closed-form by means of least squares (LS) methodology. In the case where the input-to-output mapping is injective, the new approach optimizes the weights in a back-propagating fashion in a single iteration by jointly optimizing a set of weights in each layer for each neuron. In the case where the input-to-output mapping is not injective (e.g., in classification problems), the proposed solution is easily adapted to obtain its final solution in a few iterations. An important advantage over the existing solutions is that these computations (for all neurons in a layer) are independent from each other; thus, they can be carried out in parallel to optimize all weights in a given layer simultaneously. Furthermore, its running time is deterministic in the sense that one can obtain the exact number of computations necessary to optimize the weights in all network layers (per iteration, in the case of non-injective mapping). Our simulation and empirical results show that the proposed scheme, BPLS, works well and is competitive with existing ones in terms of accuracy, but significantly surpasses them in terms of running time. To summarize, the new method is straightforward to implement, is competitive and computationally more efficient than the existing ones, and is well-tailored for parallel implementation.
- Abstract（参考訳）: 本研究は、完全連結フィードフォワードニューラルネットワークにおける重み付け最適化問題に対処する。
バックプロパゲーション(BP)とチェーン規則勾配に基づく最適化(場合によっては繰り返し実行、潜在的に重荷、時間を要する)に基づく既存の手法とは異なり、提案手法は最小二乗法(LS)法を用いて閉形式における重み付け最適化の解を提供する。
インプット・トゥ・アウトプット・マッピングがインジェクティブである場合、新しいアプローチでは、各ニューロンに対して各レイヤの重みのセットを共同で最適化することにより、1イテレーションでバックプロパゲーション方式で重みを最適化する。
インプット・トゥ・アウトプット・マッピングが帰納的でない場合(例えば分類問題では)、提案手法は数イテレーションで最終解が得られるように容易に適応できる。
既存のソリューションに対する重要な利点は、これらの計算(層内の全てのニューロン)が互いに独立していることである。
さらに、その実行時間は、全てのネットワーク層の重みを最適化するために必要な計算の正確な数が得られるという意味で決定論的である(反復の場合、非射影写像の場合)。
シミュレーションおよび実験結果から,提案手法であるBPLSは,既存の手法と精度で競合するが,実行時間ではかなり上回っていることがわかった。
要約すると、新しい手法は実装が簡単で、既存の方法よりも競争力があり、計算効率が良く、並列実装に適している。
関連論文リスト
- Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳（メタデータ） (2023-12-28T23:15:18Z) - Reducing the Need for Backpropagation and Discovering Better Optima With
Explicit Optimizations of Neural Networks [4.807347156077897]
本稿では,ニューラルネットワークの最適化のための計算効率のよい代替案を提案する。
我々は、単純なフィードフォワード言語モデルに対する明確な解決策を導出する。
実験では,明示的な解がほぼ最適であることを示す。
論文 参考訳（メタデータ） (2023-11-13T17:38:07Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - AskewSGD : An Annealed interval-constrained Optimisation method to train
Quantized Neural Networks [12.229154524476405]
我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。
アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。
実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
論文 参考訳（メタデータ） (2022-11-07T18:13:44Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Implementation of Parallel Simplified Swarm Optimization in CUDA [2.322689362836168]
最適化コンピューティングでは、インテリジェントなSwarmアルゴリズム(SIAs)が並列化に適している。
本稿では,計算能力と汎用性を考慮したGPUに基づくSimplified Swarm Algorithm Optimization (PSSO)を提案する。
結果から,Nの次数による時間複雑性の低減が達成され,資源プリエンプションの問題は完全に回避された。
論文 参考訳（メタデータ） (2021-10-01T00:15:45Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z) - Efficient and Sparse Neural Networks by Pruning Weights in a
Multiobjective Learning Approach [0.0]
本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。
模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
論文 参考訳（メタデータ） (2020-08-31T13:28:03Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。