論文の概要: Strong anti-Hebbian plasticity alters the convexity of network attractor
landscapes
- arxiv url: http://arxiv.org/abs/2312.14896v1
- Date: Fri, 22 Dec 2023 18:17:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 13:51:11.337480
- Title: Strong anti-Hebbian plasticity alters the convexity of network attractor
landscapes
- Title(参考訳): 強抗ヘビー塑性はネットワークアトラクタ景観の凸性を変化させる
- Authors: Lulu Gong, Xudong Chen, ShiNung Ching
- Abstract要約: ペアワイズ学習ルールの存在下で、繰り返しニューラルネットワークについて検討する。
ヘッビアンから反ヘッビアン学習への移行は、ネットワークの誘引者景観の凸性を損なうピッチフォーク分岐をもたらすことを示す。
- 参考スコア(独自算出の注目度): 1.1325849006178736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study recurrent neural networks in the presence of pairwise
learning rules. We are specifically interested in how the attractor landscapes
of such networks become altered as a function of the strength and nature
(Hebbian vs. anti-Hebbian) of learning, which may have a bearing on the ability
of such rules to mediate large-scale optimization problems. Through formal
analysis, we show that a transition from Hebbian to anti-Hebbian learning
brings about a pitchfork bifurcation that destroys convexity in the network
attractor landscape. In larger-scale settings, this implies that anti-Hebbian
plasticity will bring about multiple stable equilibria, and such effects may be
outsized at interconnection or `choke' points. Furthermore, attractor
landscapes are more sensitive to slower learning rates than faster ones. These
results provide insight into the types of objective functions that can be
encoded via different pairwise plasticity rules.
- Abstract(参考訳): 本稿では,ペアワイズ学習ルールの存在下でのリカレントニューラルネットワークについて検討する。
特に,このようなネットワークの誘引的景観が,大規模最適化問題を媒介するルールの能力に重きを置き,学習の強みと自然(反ヘビー語と反ヘビー語)の機能としてどのように変化するかに関心を持っている。
フォーマルな分析を通して、ヘビアンから反ヘビアン学習への移行は、ネットワークの誘引者景観の凸性を破壊するピッチフォーク分岐をもたらすことを示す。
大規模な設定では、反ヘビアン可塑性は複数の安定平衡をもたらし、そのような効果は相互接続や「チョーク」点において超える可能性がある。
さらに、アトラクタランドスケープはより速いものよりも遅い学習率に敏感である。
これらの結果は、異なるペアの可塑性規則によって符号化される対象関数の種類に関する洞察を与える。
関連論文リスト
- Why do Learning Rates Transfer? Reconciling Optimization and Scaling
Limits for Deep Learning [77.82908213345864]
学習速度伝達が$mu$Pとその深さ拡張の下では、トレーニング損失Hessianの最大の固有値がネットワークの幅と深さに大きく依存しているという事実から、経験的証拠が得られている。
ニューラル・タンジェント・カーネル(NTK)体制下では、シャープネスは異なるスケールで非常に異なるダイナミクスを示し、学習速度の伝達を妨げている。
論文 参考訳(メタデータ) (2024-02-27T12:28:01Z) - Typhoon Intensity Prediction with Vision Transformer [51.84456610977905]
台風強度を正確に予測するために「台風強度変換器(Tint)」を導入する。
Tintは、層ごとにグローバルな受容野を持つ自己認識機構を使用する。
公開されている台風ベンチマークの実験は、Tintの有効性を検証する。
論文 参考訳(メタデータ) (2023-11-28T03:11:33Z) - Hessian Eigenvectors and Principal Component Analysis of Neural Network
Weight Matrices [0.0]
この研究は、訓練された深層ニューラルネットワークの複雑なダイナミクスと、それらのネットワークパラメータとの関係について考察する。
ヘッセン固有ベクトルとネットワーク重みの関係を明らかにする。
この関係は固有値の大きさに依存し、ネットワーク内のパラメータの方向を識別することができる。
論文 参考訳(メタデータ) (2023-11-01T11:38:31Z) - A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
逆の例では、機械学習モデルを操作して誤った予測を行うことができます。
敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。
本研究は, 対角移動可能性の展望を考察した。
論文 参考訳(メタデータ) (2023-10-26T17:45:26Z) - Extreme Image Transformations Facilitate Robust Latent Object
Representations [1.2277343096128712]
敵攻撃は、野生の機械の物体認識能力に影響を与える可能性がある。
これらは多くの場合、入力ラベルとクラスラベルの間に急激な相関関係があり、大きなネットワークで記憶される傾向がある。
本研究は,エクストリーム・イメージ・トランスフォーメーション(EIT)を用いた既訓練オフ・ザ・シェルフネットワークの微調整によって,頑健な潜伏表現の学習を支援するだけでなく,様々な強度の共通の敵攻撃に対して,これらのネットワークの性能を向上させることを示す。
論文 参考訳(メタデータ) (2023-09-19T21:31:25Z) - Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
適応型ニューラルネットワークの動的対向攻撃問題について検討する。
本稿では,LGM(Leaded Gradient Method)を提案する。
我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
論文 参考訳(メタデータ) (2022-10-15T01:32:08Z) - Hebbian learning with gradients: Hebbian convolutional neural networks
with modern deep learning frameworks [2.7666483899332643]
階層的,畳み込みニューラルネットワークにおけるヘビアン学習は,現代のディープラーニングフレームワークとほぼ自明に実装可能であることを示す。
我々はオブジェクト認識のためのヘビアン畳み込み多層ネットワークを構築した。
論文 参考訳(メタデータ) (2021-07-04T20:50:49Z) - Towards Understanding the Dynamics of the First-Order Adversaries [40.54670072901657]
ニューラルネットワークの弱点として認識されているのは、入力に対する敵の摂動に対する脆弱性である。
最も一般的な防御機構の1つは、投射された上昇を使って入力の制約された摂動による損失を最大化し、重量を最小化することである。
二次的損失を有する2層ニューラルネットワークの逆方向の非凹面環境について検討する。
論文 参考訳(メタデータ) (2020-10-20T22:20:53Z) - Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。
提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
論文 参考訳(メタデータ) (2020-09-18T17:52:34Z) - Single Image Deraining via Scale-space Invariant Attention Neural
Network [58.5284246878277]
我々は,カメラに対するレインステーキの外観の視覚的変化に対処するスケールの概念に取り組む。
本稿では,画素領域よりもコンパクトでロバストな畳み込み特徴領域のマルチスケール相関を表現することを提案する。
このようにして、機能マップの最も活発な存在を、有能な特徴として要約する。
論文 参考訳(メタデータ) (2020-06-09T04:59:26Z) - Improved Gradient based Adversarial Attacks for Quantized Networks [15.686134908061995]
量子化されたネットワークは、勾配が消える問題に悩まされ、頑健さの偽の感覚を示す。
トレーニングネットワークにおける信号伝搬の低下に起因する勾配の低減により,この問題を緩和するための簡単な温度スケーリング手法を導入する。
論文 参考訳(メタデータ) (2020-03-30T14:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。