論文の概要: SAGRAD: A Program for Neural Network Training with Simulated Annealing and the Conjugate Gradient Method

• arxiv url: http://arxiv.org/abs/2502.00112v1
• Date: Fri, 31 Jan 2025 19:01:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:07.743800
• Title: SAGRAD: A Program for Neural Network Training with Simulated Annealing and the Conjugate Gradient Method
• Title（参考訳）: SAGRAD:シミュレートアニーリングと共役勾配法によるニューラルネットワークトレーニングプログラム
• Authors: Javier Bernal, Jose Torres-Jimenez,
• Abstract要約: SAGRAD(Simulated Annealing GRADient)は、ニューラルネットワークをバッチ学習を用いて分類するためのプログラムである。 SAGRADにおける神経ネットワークトレーニングは、模擬アニーリングとモルラーのスケールド共役勾配アルゴリズムの組み合わせに基づいている。
• 参考スコア（独自算出の注目度）: 1.5883812630616523
• License:
• Abstract: SAGRAD (Simulated Annealing GRADient), a Fortran 77 program for computing neural networks for classification using batch learning, is discussed. Neural network training in SAGRAD is based on a combination of simulated annealing and M{\o}ller's scaled conjugate gradient algorithm, the latter a variation of the traditional conjugate gradient method, better suited for the nonquadratic nature of neural networks. Different aspects of the implementation of the training process in SAGRAD are discussed, such as the efficient computation of gradients and multiplication of vectors by Hessian matrices that are required by M{\o}ller's algorithm; the (re)initialization of weights with simulated annealing required to (re)start M{\o}ller's algorithm the first time and each time thereafter that it shows insufficient progress in reaching a possibly local minimum; and the use of simulated annealing when M{\o}ller's algorithm, after possibly making considerable progress, becomes stuck at a local minimum or flat area of weight space. Outlines of the scaled conjugate gradient algorithm, the simulated annealing procedure and the training process used in SAGRAD are presented together with results from running SAGRAD on two examples of training data.
• Abstract（参考訳）: SAGRAD(Simulated Annealing GRADient)は,バッチ学習を用いたニューラルネットワークの分類のためのFortran 77プログラムである。 SAGRADのニューラルネットワークトレーニングは、シミュレーションアニーリングとM{\o}llerのスケールド共役勾配アルゴリズムの組み合わせに基づいている。 SAGRADにおけるトレーニングプロセスの実装の異なる側面として、M{\o}llerのアルゴリズムで要求されるヘシアン行列による勾配の効率的な計算とベクトルの乗算、M{\o}llerのアルゴリズムを(再)起動するために必要なシミュレートされたアニールによる重みの(再)初期化、M{\o}llerのアルゴリズムが潜在的に局所的な最小値に達するのに不十分な進歩を示すこと、M{\o}llerのアルゴリズムがかなり進歩した後、局所的な最小値または平坦な領域に留まる場合のシミュレートされたアニールの使用等について論じる。 大規模共役勾配アルゴリズム, 模擬アニーリング法, SAGRAD で使用されるトレーニングプロセスの概要と, SAGRAD をトレーニングデータの2つの例で実行した結果について述べる。

関連論文リスト

• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Projected Forward Gradient-Guided Frank-Wolfe Algorithm via Variance Reduction [0.0]
  本稿では、深層ニューラルネットワークのトレーニングにフランク・ウルフアルゴリズム(FW)を用いることを目標とする。 任意のアルゴリズムと同様に、FWはDNNの計算において高い計算メモリコストに悩まされる。
  論文  参考訳（メタデータ） (2024-03-19T07:25:36Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Smoothing Methods for Automatic Differentiation Across Conditional Branches [0.0]
  スムース解釈(SI)は、プログラムの出力とガウス核との畳み込みを近似し、原理的にその出力を滑らかにする。 SIと自動微分(AD)を組み合わせることで、スムーズなプログラムの勾配を効率的に計算する。 本稿では,ADとサンプリングを組み合わせたスムーズなプログラムの勾配を推定することにより,基礎となる仮定を回避する新しいモンテカルロ推定法を提案する。
  論文  参考訳（メタデータ） (2023-10-05T15:08:37Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
  深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。 本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:54:20Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)
• The duality structure gradient descent algorithm: analysis and applications to neural networks [0.0]
  本稿では,非漸近的性能解析に寄与する双対構造勾配降下法(DSGD)を提案する。 いくつかのニューラルネットワークトレーニングシナリオにおいて,DSGDの動作を実証的に示す。
  論文  参考訳（メタデータ） (2017-08-01T21:24:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。