論文の概要: EMN: Brain-inspired Elastic Memory Network for Quick Domain Adaptive Feature Mapping

• arxiv url: http://arxiv.org/abs/2402.14598v2
• Date: Mon, 17 Mar 2025 08:34:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:57:54.017047
• Title: EMN: Brain-inspired Elastic Memory Network for Quick Domain Adaptive Feature Mapping
• Title（参考訳）: EMN:クイックドメイン適応型特徴マッピングのための脳誘発弾性記憶ネットワーク
• Authors: Jianming Lv, Chengjun Wang, Depin Liang, Qianli Ma, Wei Chen, Xueqi Cheng,
• Abstract要約: 本稿では,特徴と予測のマッピングを高速に微調整するための,勾配のない新しいElastic Memory Networkを提案する。 EMNはランダムに結合したニューロンを用いて特徴とラベルの関連を記憶し、ネットワーク内のシグナルはインパルスとして伝播する。 EMNは、従来のドメイン適応手法の1%以下のタイミングコストしか必要とせず、最大10%の性能向上を達成することができる。
• 参考スコア（独自算出の注目度）: 57.197694698750404
• License:
• Abstract: Utilizing unlabeled data in the target domain to perform continuous optimization is critical to enhance the generalization ability of neural networks. Most domain adaptation methods focus on time-consuming optimization of deep feature extractors, which limits the deployment on lightweight edge devices. Inspired by the memory mechanism and powerful generalization ability of biological neural networks in human brains, we propose a novel gradient-free Elastic Memory Network, namely EMN, to support quick fine-tuning of the mapping between features and prediction without heavy optimization of deep features. In particular, EMN adopts randomly connected neurons to memorize the association of features and labels, where the signals in the network are propagated as impulses, and the prediction is made by associating the memories stored on neurons based on their confidence. More importantly, EMN supports reinforced memorization of feature mapping based on unlabeled data to quickly adapt to a new domain. Experiments based on four cross-domain real-world datasets show that EMN can achieve up to 10% enhancement of performance while only needing less than 1% timing cost of traditional domain adaptation methods.
• Abstract（参考訳）: ニューラルネットワークの一般化能力を高めるために、目標領域のラベルなしデータを使用して継続的な最適化を行うことが重要である。 ほとんどのドメイン適応手法は、軽量エッジデバイスへのデプロイを制限するディープ特徴抽出器の時間的最適化に重点を置いている。 人間の脳における生体神経ネットワークの記憶機構と強力な一般化能力に着想を得て,より深い特徴を重く最適化することなく,特徴のマッピングと予測の迅速な微調整を支援するために,新しい勾配のない弾性記憶ネットワークEMNを提案する。 特に、EMNはランダムに連結されたニューロンを用いて、ネットワーク内の信号がインパルスとして伝播する特徴とラベルの関連を記憶し、その信頼性に基づいて神経細胞に記憶された記憶を関連付けることによって予測を行う。 さらに重要なのは、EMNが新しいドメインに迅速に適応するために、ラベルのないデータに基づいた機能マッピングの強化された記憶をサポートすることだ。 4つのクロスドメインの実世界のデータセットに基づく実験では、EMNは、従来のドメイン適応手法の1%以下のタイミングコストしか必要とせず、パフォーマンスの最大10%向上を達成することができる。

関連論文リスト

• Closed-Form Feedback-Free Learning with Forward Projection [1.0128808054306186]
  フォワードプロジェクション(Forward Projection)は、トレーニング中の神経活動の逆行的なコミュニケーションを伴わない、解釈可能なニューラルネットワークモデルを生成する機械学習アプローチである。 4つのバイオメディカルデータセットにまたがるFPの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-27T20:10:37Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Selective Memory Recursive Least Squares: Recast Forgetting into Memory in RBF Neural Network Based Real-Time Learning [2.31120983784623]
  放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。 本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。 SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
  論文  参考訳（メタデータ） (2022-11-15T05:29:58Z)
• Learning with Local Gradients at the Edge [14.94491070863641]
  我々は、Target Projection Gradient Descent (tpSGD) と呼ばれる新しいバックプロパゲーションフリー最適化アルゴリズムを提案する。 tpSGDは、任意の損失関数を扱うために、直接ランダムターゲット射影を一般化する。 我々は、深層ニューラルネットワークのトレーニングにおけるtpSGDの性能を評価し、マルチ層RNNへのアプローチを拡張した。
  論文  参考訳（メタデータ） (2022-08-17T19:51:06Z)
• Predictive coding, precision and natural gradients [2.1601966913620325]
  学習精度の高い階層型予測符号化ネットワークは,教師あり学習課題や教師なし学習課題を解くことができることを示す。 イメージ入力の教師なし自動符号化に適用すると、決定論的ネットワークは階層的に整理され、非絡み合った埋め込みを生成する。
  論文  参考訳（メタデータ） (2021-11-12T21:05:03Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。