論文の概要: Harnessing uncertainty when learning through Equilibrium Propagation in neural networks

• arxiv url: http://arxiv.org/abs/2503.22810v1
• Date: Fri, 28 Mar 2025 18:16:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:32:41.338661
• Title: Harnessing uncertainty when learning through Equilibrium Propagation in neural networks
• Title（参考訳）: ニューラルネットワークの平衡伝播による学習における不確実性
• Authors: Jonathan Peters, Philippe Talatchian,
• Abstract要約: 平衡伝播(Equilibrium Propagation)は、局所的な神経活動を用いてネットワークパラメータを訓練する教師付き学習アルゴリズムである。 本研究では,物理的不確実性を含むハードウェア上でEPが学習できることを評価する。 この結果から, 深層ニューラルネットワークアーキテクチャは, 有限不確実性が存在する場合, EPを用いて順調に学習できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Equilibrium Propagation (EP) is a supervised learning algorithm that trains network parameters using local neuronal activity. This is in stark contrast to backpropagation, where updating the parameters of the network requires significant data shuffling. Avoiding data movement makes EP particularly compelling as a learning framework for energy-efficient training on neuromorphic systems. In this work, we assess the ability of EP to learn on hardware that contain physical uncertainties. This is particularly important for researchers concerned with hardware implementations of self-learning systems that utilize EP. Our results demonstrate that deep, multi-layer neural network architectures can be trained successfully using EP in the presence of finite uncertainties, up to a critical limit. This limit is independent of the training dataset, and can be scaled through sampling the network according to the central limit theorem. Additionally, we demonstrate improved model convergence and performance for finite levels of uncertainty on the MNIST, KMNIST and FashionMNIST datasets. Optimal performance is found for networks trained with uncertainties close to the critical limit. Our research supports future work to build self-learning hardware in situ with EP.
• Abstract（参考訳）: Equilibrium Propagation (EP)は、局所神経活動を用いてネットワークパラメータを訓練する教師あり学習アルゴリズムである。 これはバックプロパゲーションとは対照的で、ネットワークのパラメータを更新するにはかなりのデータシャッフルが必要である。 データ移動を避けることで、EPは特にニューロモルフィックシステムにおけるエネルギー効率のトレーニングの学習フレームワークとして魅力的になる。 本研究では,物理的不確実性を含むハードウェア上でEPが学習できることを評価する。 これはEPを利用する自己学習システムのハードウェア実装に関心を持つ研究者にとって特に重要である。 以上の結果から,有限不確実性の存在下でのEPを用いた深層ニューラルネットワークアーキテクチャのトレーニングが,限界まで成功できることが示唆された。 この制限はトレーニングデータセットとは独立であり、中央極限定理に従ってネットワークをサンプリングすることでスケールすることができる。 さらに,MNIST,KMNIST,FashionMNISTデータセットにおいて,有限レベルの不確実性に対するモデル収束と性能の向上を示す。 限界に近い不確実性で訓練されたネットワークに対して、最適性能が見つかる。 我々の研究は、EPと共に自己学習ハードウェアを構築するための今後の取り組みを支援している。

関連論文リスト

• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Unmatched uncertainty mitigation through neural network supported model predictive control [7.036452261968766]
  学習ベースMPC(LBMPC)の基本最適化問題において,深層ニューラルネットワーク(DNN)をオラクルとして利用する。 我々は、ニューラルネットワークの最後のレイヤの重みをリアルタイムで更新するデュアル・タイムスケール適応機構を採用している。 その結果,提案手法はリアルタイムに実装可能であり,LBMPCの理論的保証を担っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-22T04:49:48Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations [5.279475826661643]
  平衡伝播(Equilibrium propagation、EP)は、深層ニューラルネットワークの局所学習規則によるトレーニングを可能にするバックプロパゲーション(BP)の代替である。 この拡張が有限振幅の教示信号に対しても自然に正確な勾配をもたらすことを示す。 我々は、ImageNet 32x32データセット上でEPの最初のベンチマークを確立し、BPでトレーニングされた等価ネットワークの性能と一致することを示す。
  論文  参考訳（メタデータ） (2022-09-01T15:23:49Z)
• lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for Efficient Unsupervised Continual Learning on Autonomous Agents [14.916996986290902]
  効率的な教師なし連続学習のための低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。 我々のlpSpikeConは、教師なし連続学習によるオンライントレーニングを行うために、SNNモデルの重量記憶を8倍(すなわち、4ビットの重みを司法的に採用することで)削減することができる。
  論文  参考訳（メタデータ） (2022-05-24T18:08:16Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [62.43908463620527]
  実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。 我々は、有限なヌーディングの使用に固有のEPの勾配推定のバイアスがこの現象に責任があることを示しています。 これらの結果は、EPをディープニューラルネットワークにおける誤差勾配を計算するスケーラブルなアプローチとして強調し、ハードウェア実装を動機付けている。
  論文  参考訳（メタデータ） (2021-01-14T10:23:40Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。