Fugu-MT 論文翻訳(概要): Improving equilibrium propagation without weight symmetry through Jacobian homeostasis

論文の概要: Improving equilibrium propagation without weight symmetry through Jacobian homeostasis

arxiv url: http://arxiv.org/abs/2309.02214v2
Date: Mon, 8 Apr 2024 07:55:43 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 04:47:47.138128
Title: Improving equilibrium propagation without weight symmetry through Jacobian homeostasis
Title（参考訳）: ジャコビアンホメオスタシスによる重量対称性のない平衡伝播の改善
Authors: Axel Laborieux, Friedemann Zenke,
Abstract要約: 平衡伝播(EP)は誤りアルゴリズム(BP)のバックプロパゲーションの魅力的な代替手段である EPは、非バイアス勾配を効率的に推定するために、重量対称性と無限小平衡摂動(nudges)を必要とする。有限ヌッジはコーシー積分を通しても正確な微分を推定できるので、問題が生じないことが示される。ネットワークの固定点におけるジャコビアンの関数的非対称性を直接緩和する新たなホメオスタティックな目的を提案する。
参考スコア（独自算出の注目度）: 7.573586022424398
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Equilibrium propagation (EP) is a compelling alternative to the backpropagation of error algorithm (BP) for computing gradients of neural networks on biological or analog neuromorphic substrates. Still, the algorithm requires weight symmetry and infinitesimal equilibrium perturbations, i.e., nudges, to estimate unbiased gradients efficiently. Both requirements are challenging to implement in physical systems. Yet, whether and how weight asymmetry affects its applicability is unknown because, in practice, it may be masked by biases introduced through the finite nudge. To address this question, we study generalized EP, which can be formulated without weight symmetry, and analytically isolate the two sources of bias. For complex-differentiable non-symmetric networks, we show that the finite nudge does not pose a problem, as exact derivatives can still be estimated via a Cauchy integral. In contrast, weight asymmetry introduces bias resulting in low task performance due to poor alignment of EP's neuronal error vectors compared to BP. To mitigate this issue, we present a new homeostatic objective that directly penalizes functional asymmetries of the Jacobian at the network's fixed point. This homeostatic objective dramatically improves the network's ability to solve complex tasks such as ImageNet 32x32. Our results lay the theoretical groundwork for studying and mitigating the adverse effects of imperfections of physical networks on learning algorithms that rely on the substrate's relaxation dynamics.
Abstract（参考訳）: 平衡伝播(EP)は、ニューラルネットワークの生物学的またはアナログなニューロモルフィック基板上の勾配を計算するための誤差アルゴリズム(BP)のバックプロパゲーションの魅力的な代替手段である。それでもこのアルゴリズムは、非バイアス勾配を効率的に推定するために、ウェイト対称性と無限小平衡摂動(nudges)を必要とする。両方の要件は物理的システムで実装することが難しい。しかし、重み非対称性が適用性にどのような影響を及ぼすかは不明であり、実際には、有限ノイドを通じて導入されたバイアスによって隠蔽される可能性がある。この問題に対処するために、重み対称性なしで定式化できる一般化EPについて検討し、2つのバイアス源を解析的に分離する。複素微分可能でない非対称ネットワークに対しては、完全微分はコーシー積分によって推定できるため、有限ヌッジが問題を引き起こすことはないことを示す。対照的に、重み非対称性は、BPと比較してEPの神経エラーベクトルのアライメントが悪いために、低いタスク性能をもたらすバイアスをもたらす。この問題を緩和するために、ネットワークの固定点におけるジャコビアンの関数的非対称性を直接罰する新しいホメオスタティックな目的を提案する。このホメオスタティックな目的は、ImageNet 32x32のような複雑なタスクを解くネットワークの能力を劇的に改善する。本研究は, 基板の緩和力学に依存する学習アルゴリズムに対する物理ネットワークの不完全性の影響を研究・緩和するための理論的基礎研究である。

関連論文リスト

Symmetry Adapted Residual Neural Network Diabatization: Conical Intersections in Aniline Photodissociation [1.2365038403958204]
準双曲型ハミルトニアンを構成するために,対称性適応型ニューラルネットワーク (SAResNet) のダイアバタイズ手法を提案する。我々のSAResNetはアニリンN-H結合光解離のための36次元結合ダイアバティックポテンシャル表面の構築に応用されている。
論文参考訳（メタデータ） (2024-11-03T21:56:25Z)
Deep Learning without Weight Symmetry [1.3812010983144802]
バックプロパゲーション(BP)は、ニューラルネットワークをトレーニングするための基礎アルゴリズムである。 BPはしばしば生物学的に不溶であると考えられている。ここでは、製品フィードバックアライメント(PFA)アルゴリズムを紹介する。
論文参考訳（メタデータ） (2024-05-31T03:11:19Z)
Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
論文参考訳（メタデータ） (2023-11-07T19:07:16Z)
Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文参考訳（メタデータ） (2023-10-09T20:22:43Z)
Law of Balance and Stationary Distribution of Stochastic Gradient Descent [11.937085301750288]
我々は、損失関数が再スケーリング対称性を含む場合、勾配降下(SGD)のミニバッチノイズが平衡解に対する解を正則化することを証明した。次に、任意の深さと幅を持つ対角線ネットワークの勾配流の定常分布を導出する。これらの現象はディープ・ネットワークに独自に存在することが示され、ディープ・モデルと浅瀬モデルの間に根本的な違いが示唆される。
論文参考訳（メタデータ） (2023-08-13T03:13:03Z)
Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文参考訳（メタデータ） (2023-06-06T09:12:49Z)
Approximately Equivariant Networks for Imperfectly Symmetric Dynamics [24.363954435050264]
我々のモデルは、シミュレーションされた乱流領域と実世界のマルチストリームジェット流の両方において、対称性バイアスのないベースラインと過度に厳密な対称性を持つベースラインの両方より優れていることが判明した。
論文参考訳（メタデータ） (2022-01-28T07:31:28Z)
Complexity from Adaptive-Symmetries Breaking: Global Minima in the Statistical Mechanics of Deep Neural Networks [0.0]
深部ニューラルネットワーク(DNN)を理解するために、物理における保守対称性への適応対称性というアンチセティカル概念を提案する。我々はDNNシステムの最適化過程を適応対称性破りの拡張プロセスとして特徴付けている。より具体的には、この過程は統計物理学の一般化として評価できる統計力学モデルによって特徴づけられる。
論文参考訳（メタデータ） (2022-01-03T09:06:44Z)
On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。エルゴード理論の力学系に基づく新しい視点を提案する。
論文参考訳（メタデータ） (2021-10-12T18:12:23Z)
Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文参考訳（メタデータ） (2020-09-05T02:25:23Z)
Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
論文参考訳（メタデータ） (2020-06-06T09:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。