Fugu-MT 論文翻訳(概要): Harnessing uncertainty when learning through Equilibrium Propagation in neural networks

論文の概要: Harnessing uncertainty when learning through Equilibrium Propagation in neural networks

arxiv url: http://arxiv.org/abs/2503.22810v1
Date: Fri, 28 Mar 2025 18:16:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-01 19:35:56.803478
Title: Harnessing uncertainty when learning through Equilibrium Propagation in neural networks
Title（参考訳）: ニューラルネットワークの平衡伝播による学習における不確実性
Authors: Jonathan Peters, Philippe Talatchian,
Abstract要約: 平衡伝播(Equilibrium Propagation)は、局所的な神経活動を用いてネットワークパラメータを訓練する教師付き学習アルゴリズムである。本研究では,物理的不確実性を含むハードウェア上でEPが学習できることを評価する。この結果から, 深層ニューラルネットワークアーキテクチャは, 有限不確実性が存在する場合, EPを用いて順調に学習できることが示唆された。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Equilibrium Propagation (EP) is a supervised learning algorithm that trains network parameters using local neuronal activity. This is in stark contrast to backpropagation, where updating the parameters of the network requires significant data shuffling. Avoiding data movement makes EP particularly compelling as a learning framework for energy-efficient training on neuromorphic systems. In this work, we assess the ability of EP to learn on hardware that contain physical uncertainties. This is particularly important for researchers concerned with hardware implementations of self-learning systems that utilize EP. Our results demonstrate that deep, multi-layer neural network architectures can be trained successfully using EP in the presence of finite uncertainties, up to a critical limit. This limit is independent of the training dataset, and can be scaled through sampling the network according to the central limit theorem. Additionally, we demonstrate improved model convergence and performance for finite levels of uncertainty on the MNIST, KMNIST and FashionMNIST datasets. Optimal performance is found for networks trained with uncertainties close to the critical limit. Our research supports future work to build self-learning hardware in situ with EP.
Abstract（参考訳）: Equilibrium Propagation (EP)は、局所神経活動を用いてネットワークパラメータを訓練する教師あり学習アルゴリズムである。これはバックプロパゲーションとは対照的で、ネットワークのパラメータを更新するにはかなりのデータシャッフルが必要である。データ移動を避けることで、EPは特にニューロモルフィックシステムにおけるエネルギー効率のトレーニングの学習フレームワークとして魅力的になる。本研究では,物理的不確実性を含むハードウェア上でEPが学習できることを評価する。これはEPを利用する自己学習システムのハードウェア実装に関心を持つ研究者にとって特に重要である。以上の結果から,有限不確実性の存在下でのEPを用いた深層ニューラルネットワークアーキテクチャのトレーニングが,限界まで成功できることが示唆された。この制限はトレーニングデータセットとは独立であり、中央極限定理に従ってネットワークをサンプリングすることでスケールすることができる。さらに,MNIST,KMNIST,FashionMNISTデータセットにおいて,有限レベルの不確実性に対するモデル収束と性能の向上を示す。限界に近い不確実性で訓練されたネットワークに対して、最適性能が見つかる。我々の研究は、EPと共に自己学習ハードウェアを構築するための今後の取り組みを支援している。

関連論文リスト

Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
論文参考訳（メタデータ） (2025-03-12T17:33:13Z)
DeepONet Augmented by Randomized Neural Networks for Efficient Operator Learning in PDEs [5.84093922354671]
精度と効率のバランスをとるために設計されたハイブリッドアーキテクチャであるRaNN-DeepONetsを提案する。 RaNN-DeepONetsは計算コストを桁違いに削減しながら、同等の精度を達成する。これらの結果は、PDEシステムにおける演算子学習の効率的な代替手段としてのRaNN-DeepONetsの可能性を強調している。
論文参考訳（メタデータ） (2025-03-01T03:05:29Z)
On-device edge learning for IoT data streams: a survey [1.7186863539230333]
本稿では,ニューラルネットワーク(NN)と決定木(DT)の文脈におけるデバイス上でのトレーニングのための連続的学習手法について検討する。データアーキテクチャ(バッチ対ストリーム)やネットワーク容量(クラウド対エッジ)といった重要な制約を強調します。調査では、リソース制約のあるエッジデバイスにディープラーニングをデプロイする際の課題について詳述している。
論文参考訳（メタデータ） (2025-02-25T02:41:23Z)
Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文参考訳（メタデータ） (2023-03-03T16:12:59Z)
Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations [5.279475826661643]
平衡伝播(Equilibrium propagation、EP)は、深層ニューラルネットワークの局所学習規則によるトレーニングを可能にするバックプロパゲーション(BP)の代替である。この拡張が有限振幅の教示信号に対しても自然に正確な勾配をもたらすことを示す。我々は、ImageNet 32x32データセット上でEPの最初のベンチマークを確立し、BPでトレーニングされた等価ネットワークの性能と一致することを示す。
論文参考訳（メタデータ） (2022-09-01T15:23:49Z)
lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for Efficient Unsupervised Continual Learning on Autonomous Agents [14.916996986290902]
効率的な教師なし連続学習のための低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。我々のlpSpikeConは、教師なし連続学習によるオンライントレーニングを行うために、SNNモデルの重量記憶を8倍(すなわち、4ビットの重みを司法的に採用することで)削減することができる。
論文参考訳（メタデータ） (2022-05-24T18:08:16Z)
Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [62.43908463620527]
実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。我々は、有限なヌーディングの使用に固有のEPの勾配推定のバイアスがこの現象に責任があることを示しています。これらの結果は、EPをディープニューラルネットワークにおける誤差勾配を計算するスケーラブルなアプローチとして強調し、ハードウェア実装を動機付けている。
論文参考訳（メタデータ） (2021-01-14T10:23:40Z)
Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
論文参考訳（メタデータ） (2020-12-07T20:08:31Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)
Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文参考訳（メタデータ） (2020-02-22T14:38:11Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。