論文の概要: A Neural Network Training Method Based on Neuron Connection Coefficient Adjustments

• arxiv url: http://arxiv.org/abs/2502.10414v1
• Date: Sat, 25 Jan 2025 16:07:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 04:52:13.541541
• Title: A Neural Network Training Method Based on Neuron Connection Coefficient Adjustments
• Title（参考訳）: ニューロン接続係数調整に基づくニューラルネットワーク学習手法
• Authors: Kun Jiang,
• Abstract要約: 本稿では,対称微分方程式に基づくニューラルネットワークの新しいトレーニング手法を提案する。 以前導入された方法とは異なり、このアプローチは微分方程式の固定点の調整を必要としない。 このアプローチを検証するため、MNISTデータセット上でテストを行い、有望な結果を得た。
• 参考スコア（独自算出の注目度）: 2.684545081600664
• License:
• Abstract: In previous studies, we introduced a neural network framework based on symmetric differential equations, along with one of its training methods. In this article, we present another training approach for this neural network. This method leverages backward signal propagation and eliminates reliance on the traditional chain derivative rule, offering a high degree of biological interpretability. Unlike the previously introduced method, this approach does not require adjustments to the fixed points of the differential equations. Instead, it focuses solely on modifying the connection coefficients between neurons, closely resembling the training process of traditional multilayer perceptron (MLP) networks. By adopting a suitable adjustment strategy, this method effectively avoids certain potential local minima. To validate this approach, we tested it on the MNIST dataset and achieved promising results. Through further analysis, we identified certain limitations of the current neural network architecture and proposed measures for improvement.
• Abstract（参考訳）: これまでの研究では、対称微分方程式に基づくニューラルネットワークフレームワークと、そのトレーニング手法の1つを紹介した。 本稿では,このニューラルネットワークのための別のトレーニング手法を提案する。 この方法は、後ろ向きのシグナル伝達を利用し、従来の鎖の導出規則に依存することを排除し、高い生物学的解釈性を提供する。 以前導入された方法とは異なり、このアプローチは微分方程式の固定点の調整を必要としない。 代わりに、従来の多層パーセプトロン(MLP)ネットワークのトレーニングプロセスとよく似た、ニューロン間の接続係数の修正に焦点が当てられている。 適切な調整戦略を採用することにより、特定の潜在的局所最小値を回避することができる。 このアプローチを検証するため、MNISTデータセット上でテストを行い、有望な結果を得た。 さらなる分析を通じて、現在のニューラルネットワークアーキテクチャの一定の限界を特定し、改善のための尺度を提案した。

関連論文リスト

• A Neural Network Training Method Based on Distributed PID Control [0.0]
  前回の記事では、対称微分方程式に基づくニューラルネットワークフレームワークを紹介した。 そこで本研究では,チェーンルールの導出ではなく,微分方程式信号の伝搬を利用した学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-18T19:25:26Z)
• Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
  スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。 SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。 この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。 本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
  論文  参考訳（メタデータ） (2024-11-11T15:20:54Z)
• Learning by the F-adjoint [0.0]
  本研究では、フィードフォワードニューラルネットワークのための教師付き学習アルゴリズムを改善するための理論的枠組みを開発し、検討する。 我々の主な結果は、勾配降下法と組み合わせた神経力学モデルを導入することにより、平衡F-随伴過程を導出したことである。 MNISTとFashion-MNISTデータセットの実験結果は、提案手法が標準バックプロパゲーショントレーニング手順を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-07-08T13:49:25Z)
• Chebyshev Spectral Neural Networks for Solving Partial Differential Equations [0.0]
  この研究は、フィードフォワードニューラルネットワークモデルとエラーバックプロパゲーション原理を用いて、損失関数の計算に自動微分(AD)を利用する。 楕円偏微分方程式を用いて,CSNNモデルの数値効率と精度について検討し,よく知られた物理インフォームドニューラルネットワーク(PINN)法と比較した。
  論文  参考訳（メタデータ） (2024-06-06T05:31:45Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• An alternative approach to train neural networks using monotone variational inequality [22.320632565424745]
  本稿では,モノトーンベクトル場を用いたニューラルネットワークトレーニングの代替手法を提案する。 我々のアプローチは、事前訓練されたニューラルネットワークのより効率的な微調整に利用できる。
  論文  参考訳（メタデータ） (2022-02-17T19:24:20Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。