論文の概要: Strong anti-Hebbian plasticity alters the convexity of network attractor landscapes

• arxiv url: http://arxiv.org/abs/2312.14896v1
• Date: Fri, 22 Dec 2023 18:17:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 13:51:11.337480
• Title: Strong anti-Hebbian plasticity alters the convexity of network attractor landscapes
• Title（参考訳）: 強抗ヘビー塑性はネットワークアトラクタ景観の凸性を変化させる
• Authors: Lulu Gong, Xudong Chen, ShiNung Ching
• Abstract要約: ペアワイズ学習ルールの存在下で、繰り返しニューラルネットワークについて検討する。 ヘッビアンから反ヘッビアン学習への移行は、ネットワークの誘引者景観の凸性を損なうピッチフォーク分岐をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 1.1325849006178736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study recurrent neural networks in the presence of pairwise learning rules. We are specifically interested in how the attractor landscapes of such networks become altered as a function of the strength and nature (Hebbian vs. anti-Hebbian) of learning, which may have a bearing on the ability of such rules to mediate large-scale optimization problems. Through formal analysis, we show that a transition from Hebbian to anti-Hebbian learning brings about a pitchfork bifurcation that destroys convexity in the network attractor landscape. In larger-scale settings, this implies that anti-Hebbian plasticity will bring about multiple stable equilibria, and such effects may be outsized at interconnection or `choke' points. Furthermore, attractor landscapes are more sensitive to slower learning rates than faster ones. These results provide insight into the types of objective functions that can be encoded via different pairwise plasticity rules.
• Abstract（参考訳）: 本稿では,ペアワイズ学習ルールの存在下でのリカレントニューラルネットワークについて検討する。 特に,このようなネットワークの誘引的景観が,大規模最適化問題を媒介するルールの能力に重きを置き,学習の強みと自然(反ヘビー語と反ヘビー語)の機能としてどのように変化するかに関心を持っている。 フォーマルな分析を通して、ヘビアンから反ヘビアン学習への移行は、ネットワークの誘引者景観の凸性を破壊するピッチフォーク分岐をもたらすことを示す。 大規模な設定では、反ヘビアン可塑性は複数の安定平衡をもたらし、そのような効果は相互接続や「チョーク」点において超える可能性がある。 さらに、アトラクタランドスケープはより速いものよりも遅い学習率に敏感である。 これらの結果は、異なるペアの可塑性規則によって符号化される対象関数の種類に関する洞察を与える。

関連論文リスト

• Dynamical loss functions shape landscape topography and improve learning in artificial neural networks [0.9208007322096533]
  クロスエントロピーと平均二乗誤差を動的損失関数に変換する方法を示す。 異なるサイズのネットワークに対する検証精度を大幅に向上させる方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:27:03Z)
• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Typhoon Intensity Prediction with Vision Transformer [51.84456610977905]
  台風強度を正確に予測するために「台風強度変換器(Tint)」を導入する。 Tintは、層ごとにグローバルな受容野を持つ自己認識機構を使用する。 公開されている台風ベンチマークの実験は、Tintの有効性を検証する。
  論文  参考訳（メタデータ） (2023-11-28T03:11:33Z)
• Hessian Eigenvectors and Principal Component Analysis of Neural Network Weight Matrices [0.0]
  この研究は、訓練された深層ニューラルネットワークの複雑なダイナミクスと、それらのネットワークパラメータとの関係について考察する。 ヘッセン固有ベクトルとネットワーク重みの関係を明らかにする。 この関係は固有値の大きさに依存し、ネットワーク内のパラメータの方向を識別することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:38:31Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Extreme Image Transformations Facilitate Robust Latent Object Representations [1.2277343096128712]
  敵攻撃は、野生の機械の物体認識能力に影響を与える可能性がある。 これらは多くの場合、入力ラベルとクラスラベルの間に急激な相関関係があり、大きなネットワークで記憶される傾向がある。 本研究は,エクストリーム・イメージ・トランスフォーメーション(EIT)を用いた既訓練オフ・ザ・シェルフネットワークの微調整によって,頑健な潜伏表現の学習を支援するだけでなく,様々な強度の共通の敵攻撃に対して,これらのネットワークの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2023-09-19T21:31:25Z)
• Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
  適応型ニューラルネットワークの動的対向攻撃問題について検討する。 本稿では,LGM(Leaded Gradient Method)を提案する。 我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
  論文  参考訳（メタデータ） (2022-10-15T01:32:08Z)
• Hebbian learning with gradients: Hebbian convolutional neural networks with modern deep learning frameworks [2.7666483899332643]
  階層的,畳み込みニューラルネットワークにおけるヘビアン学習は,現代のディープラーニングフレームワークとほぼ自明に実装可能であることを示す。 我々はオブジェクト認識のためのヘビアン畳み込み多層ネットワークを構築した。
  論文  参考訳（メタデータ） (2021-07-04T20:50:49Z)
• Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
  我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。 提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
  論文  参考訳（メタデータ） (2020-09-18T17:52:34Z)
• Single Image Deraining via Scale-space Invariant Attention Neural Network [58.5284246878277]
  我々は,カメラに対するレインステーキの外観の視覚的変化に対処するスケールの概念に取り組む。 本稿では,画素領域よりもコンパクトでロバストな畳み込み特徴領域のマルチスケール相関を表現することを提案する。 このようにして、機能マップの最も活発な存在を、有能な特徴として要約する。
  論文  参考訳（メタデータ） (2020-06-09T04:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。