論文の概要: Neuro-Modulated Hebbian Learning for Fully Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2303.00914v1
- Date: Thu, 2 Mar 2023 02:18:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 16:17:40.562651
- Title: Neuro-Modulated Hebbian Learning for Fully Test-Time Adaptation
- Title（参考訳）: 完全テスト時間適応のためのニューロモーダル・ヘビアン学習
- Authors: Yushun Tang, Ce Zhang, Heng Xu, Shuoshuo Chen, Jie Cheng, Luziwei
Leng, Qinghai Guo, Zhihai He
- Abstract要約: 完全なテスト時間適応は、推論段階における入力サンプルのシーケンシャル解析に基づいてネットワークモデルを適応することを目的としている。
我々は,神経細胞の反応を局所的なシナプス変化の手順に基づいて調整する生物学的確率学習から着想を得た。
我々は、オンライン適応のための教師なしかつ効果的なメカニズムを提供するソフトなヘビアン学習プロセスを設計する。
- 参考スコア（独自算出の注目度）: 22.18972584098911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully test-time adaptation aims to adapt the network model based on
sequential analysis of input samples during the inference stage to address the
cross-domain performance degradation problem of deep neural networks. We take
inspiration from the biological plausibility learning where the neuron
responses are tuned based on a local synapse-change procedure and activated by
competitive lateral inhibition rules. Based on these feed-forward learning
rules, we design a soft Hebbian learning process which provides an unsupervised
and effective mechanism for online adaptation. We observe that the performance
of this feed-forward Hebbian learning for fully test-time adaptation can be
significantly improved by incorporating a feedback neuro-modulation layer. It
is able to fine-tune the neuron responses based on the external feedback
generated by the error back-propagation from the top inference layers. This
leads to our proposed neuro-modulated Hebbian learning (NHL) method for fully
test-time adaptation. With the unsupervised feed-forward soft Hebbian learning
being combined with a learned neuro-modulator to capture feedback from external
responses, the source model can be effectively adapted during the testing
process. Experimental results on benchmark datasets demonstrate that our
proposed method can significantly improve the adaptation performance of network
models and outperforms existing state-of-the-art methods.
- Abstract（参考訳）: 完全なテスト時間適応は、深層ニューラルネットワークのクロスドメイン性能劣化問題に対処するために、推論段階で入力サンプルのシーケンシャル分析に基づいてネットワークモデルを適用することを目的としている。
我々は,神経細胞の反応を局所的なシナプス変化の手順に基づいて調整し,競合する側方抑制規則によって活性化する生物学的妥当性学習から着想を得た。
これらのフィードフォワード学習ルールに基づき、オンライン適応のための教師なしかつ効果的なメカニズムを提供するソフト・ヘビー学習プロセスを設計する。
フィードバック型神経変調層を組み込むことで,完全テスト時間適応のためのフィードフォワード・ヘビアン学習の性能を大幅に向上させることができる。
上位推論層からのエラーバックプロパゲーションによって生成された外部フィードバックに基づいてニューロン応答を微調整することができる。
そこで本研究では,神経修飾ヘビー学習 (nhl) 法を提案する。
教師なしフィードフォワードソフトなヘビアン学習と学習されたニューロ変調器を組み合わせることで、外部からの反応からのフィードバックを捉えることにより、ソースモデルはテストプロセス中に効果的に適応できる。
ベンチマークによる実験結果から,提案手法はネットワークモデルの適応性能を大幅に向上し,既存手法よりも優れることが示された。
関連論文リスト
- Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - Adapting the Biological SSVEP Response to Artificial Neural Networks [5.4712259563296755]
本稿では,神経科学の手法である周波数タギングに触発されたニューロン重要度評価に対する新しいアプローチを提案する。
画像分類のための畳み込みニューラルネットワークを用いて行った実験では、パートベースの周波数タギングの下でのニューロン特異的応答における顕著な調和と相互変調が明らかにされた。
提案手法は,ネットワークプルーニングやモデル解釈可能性などの応用を約束し,説明可能な人工知能の進歩に寄与する。
論文 参考訳（メタデータ） (2024-11-15T10:02:48Z) - Feedback Favors the Generalization of Neural ODEs [24.342023073252395]
本稿では、フィードバックループがニューラル常微分方程式(ニューラルODE)の学習潜時ダイナミクスを柔軟に補正可能であることを示す。
フィードバックニューラルネットワークは、新しい2自由度ニューラルネットワークであり、前のタスクで精度が失われることなく、目に見えないシナリオで堅牢なパフォーマンスを持つ。
論文 参考訳（メタデータ） (2024-10-14T08:09:45Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。
我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。
DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
論文 参考訳（メタデータ） (2022-04-14T22:06:21Z) - Evolving Neural Selection with Adaptive Regularization [7.298440208725654]
深部ニューラルネットワークにおけるニューロンの選択が進化し,予測の難しさに適応する手法を示す。
本稿では,階層内のニューロンを重み付けしてネットワークの変種を形成するために進化する適応型ニューラルセレクション(ANS)フレームワークを提案する。
実験の結果,提案手法はニューラルネットワークアーキテクチャの性能を著しく向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-04-04T17:19:52Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。
我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
論文 参考訳（メタデータ） (2021-11-25T13:24:19Z) - Bio-plausible Unsupervised Delay Learning for Extracting Temporal
Features in Spiking Neural Networks [0.548253258922555]
ニューロン間の伝導遅延の可塑性は、学習において基本的な役割を果たす。
シナプス遅延の正確な調整を理解することは、効果的な脳にインスパイアされた計算モデルを開発するのに役立ちます。
論文 参考訳（メタデータ） (2020-11-18T16:25:32Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。