論文の概要: Neuro-Modulated Hebbian Learning for Fully Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2303.00914v1
- Date: Thu, 2 Mar 2023 02:18:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 16:17:40.562651
- Title: Neuro-Modulated Hebbian Learning for Fully Test-Time Adaptation
- Title(参考訳): 完全テスト時間適応のためのニューロモーダル・ヘビアン学習
- Authors: Yushun Tang, Ce Zhang, Heng Xu, Shuoshuo Chen, Jie Cheng, Luziwei
Leng, Qinghai Guo, Zhihai He
- Abstract要約: 完全なテスト時間適応は、推論段階における入力サンプルのシーケンシャル解析に基づいてネットワークモデルを適応することを目的としている。
我々は,神経細胞の反応を局所的なシナプス変化の手順に基づいて調整する生物学的確率学習から着想を得た。
我々は、オンライン適応のための教師なしかつ効果的なメカニズムを提供するソフトなヘビアン学習プロセスを設計する。
- 参考スコア(独自算出の注目度): 22.18972584098911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully test-time adaptation aims to adapt the network model based on
sequential analysis of input samples during the inference stage to address the
cross-domain performance degradation problem of deep neural networks. We take
inspiration from the biological plausibility learning where the neuron
responses are tuned based on a local synapse-change procedure and activated by
competitive lateral inhibition rules. Based on these feed-forward learning
rules, we design a soft Hebbian learning process which provides an unsupervised
and effective mechanism for online adaptation. We observe that the performance
of this feed-forward Hebbian learning for fully test-time adaptation can be
significantly improved by incorporating a feedback neuro-modulation layer. It
is able to fine-tune the neuron responses based on the external feedback
generated by the error back-propagation from the top inference layers. This
leads to our proposed neuro-modulated Hebbian learning (NHL) method for fully
test-time adaptation. With the unsupervised feed-forward soft Hebbian learning
being combined with a learned neuro-modulator to capture feedback from external
responses, the source model can be effectively adapted during the testing
process. Experimental results on benchmark datasets demonstrate that our
proposed method can significantly improve the adaptation performance of network
models and outperforms existing state-of-the-art methods.
- Abstract(参考訳): 完全なテスト時間適応は、深層ニューラルネットワークのクロスドメイン性能劣化問題に対処するために、推論段階で入力サンプルのシーケンシャル分析に基づいてネットワークモデルを適用することを目的としている。
我々は,神経細胞の反応を局所的なシナプス変化の手順に基づいて調整し,競合する側方抑制規則によって活性化する生物学的妥当性学習から着想を得た。
これらのフィードフォワード学習ルールに基づき、オンライン適応のための教師なしかつ効果的なメカニズムを提供するソフト・ヘビー学習プロセスを設計する。
フィードバック型神経変調層を組み込むことで,完全テスト時間適応のためのフィードフォワード・ヘビアン学習の性能を大幅に向上させることができる。
上位推論層からのエラーバックプロパゲーションによって生成された外部フィードバックに基づいてニューロン応答を微調整することができる。
そこで本研究では,神経修飾ヘビー学習 (nhl) 法を提案する。
教師なしフィードフォワードソフトなヘビアン学習と学習されたニューロ変調器を組み合わせることで、外部からの反応からのフィードバックを捉えることにより、ソースモデルはテストプロセス中に効果的に適応できる。
ベンチマークによる実験結果から,提案手法はネットワークモデルの適応性能を大幅に向上し,既存手法よりも優れることが示された。
関連論文リスト
- Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳(メタデータ) (2023-03-07T18:59:38Z) - Neural Clamping: Joint Input Perturbation and Temperature Scaling for
Neural Network Calibration [74.43215520371506]
我々はニューラルクランプ法と呼ばれる新しい後処理キャリブレーション法を提案する。
実験の結果,Neural Clampingは最先端の処理後のキャリブレーション法よりも優れていた。
論文 参考訳(メタデータ) (2022-09-23T14:18:39Z) - Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。
我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。
DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
論文 参考訳(メタデータ) (2022-04-14T22:06:21Z) - Biologically-inspired neuronal adaptation improves learning in neural
networks [0.7734726150561086]
人間は今でも、多くのタスクで人工知能よりも優れています。
私たちは、機械学習アルゴリズムを改善するために、脳からインスピレーションを受けています。
我々はMNISTとCIFAR-10で訓練された多層パーセプトロンと畳み込みニューラルネットワークに適応する。
論文 参考訳(メタデータ) (2022-04-08T16:16:02Z) - Evolving Neural Selection with Adaptive Regularization [7.298440208725654]
深部ニューラルネットワークにおけるニューロンの選択が進化し,予測の難しさに適応する手法を示す。
本稿では,階層内のニューロンを重み付けしてネットワークの変種を形成するために進化する適応型ニューラルセレクション(ANS)フレームワークを提案する。
実験の結果,提案手法はニューラルネットワークアーキテクチャの性能を著しく向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-04-04T17:19:52Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。
我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
論文 参考訳(メタデータ) (2021-11-25T13:24:19Z) - Bio-plausible Unsupervised Delay Learning for Extracting Temporal
Features in Spiking Neural Networks [0.548253258922555]
ニューロン間の伝導遅延の可塑性は、学習において基本的な役割を果たす。
シナプス遅延の正確な調整を理解することは、効果的な脳にインスパイアされた計算モデルを開発するのに役立ちます。
論文 参考訳(メタデータ) (2020-11-18T16:25:32Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。