論文の概要: A Neural Network with Local Learning Rules for Minor Subspace Analysis

• arxiv url: http://arxiv.org/abs/2102.05501v1
• Date: Wed, 10 Feb 2021 15:44:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 22:45:41.977474
• Title: A Neural Network with Local Learning Rules for Minor Subspace Analysis
• Title（参考訳）: 小部分空間解析のための局所学習規則付きニューラルネットワーク
• Authors: Yanis Bahroun and Dmitri B. Chklovskii
• Abstract要約: マイナー部分空間, マイナー部分空間類似性マッチング(MSSM)を抽出するための新しい類似性マッチング手法を提案する。 我々は,局所学習ルールを持つニューラルネットワークに自然にマッピングする適応MSSMアルゴリズムを導出し,本手法が競合速度で収束することを示す数値結果を与える。
• 参考スコア（独自算出の注目度）: 12.437226707039446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of neuromorphic hardware and modeling of biological neural networks requires algorithms with local learning rules. Artificial neural networks using local learning rules to perform principal subspace analysis (PSA) and clustering have recently been derived from principled objective functions. However, no biologically plausible networks exist for minor subspace analysis (MSA), a fundamental signal processing task. MSA extracts the lowest-variance subspace of the input signal covariance matrix. Here, we introduce a novel similarity matching objective for extracting the minor subspace, Minor Subspace Similarity Matching (MSSM). Moreover, we derive an adaptive MSSM algorithm that naturally maps onto a novel neural network with local learning rules and gives numerical results showing that our method converges at a competitive rate.
• Abstract（参考訳）: 神経型ハードウェアの開発と生物学的ニューラルネットワークのモデリングには、局所学習ルールを備えたアルゴリズムが必要です。 局所学習規則を用いて主部分空間解析(PSA)とクラスタリングを行う人工ニューラルネットワークは、最近、原理化された目的関数から派生した。 しかし、基本的な信号処理タスクであるマイナー部分空間解析(MSA)には生物学的に妥当なネットワークは存在しない。 MSAは入力信号共分散行列の最低分散部分空間を抽出する。 本稿では,小部分空間,小部分空間類似性マッチング(MSSM)を抽出するための新しい類似性マッチング手法を提案する。 さらに,局所的な学習規則を持つニューラルネットワークに自然にマッピングする適応MSSMアルゴリズムを導出し,本手法が競合速度で収束することを示す数値結果を与える。

関連論文リスト

• Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。 近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
  論文  参考訳（メタデータ） (2024-03-19T05:37:26Z)
• Analyzing Populations of Neural Networks via Dynamical Model Embedding [10.455447557943463]
  ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのためにトレーニングされた異なるネットワークによって実装された基盤となるアルゴリズム間の共通点を特定することである。 この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構築するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。 DYNAMOは、事前訓練されたニューラルネットワークのコレクションを入力として、隠された状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
  論文  参考訳（メタデータ） (2023-02-27T19:00:05Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• A simple normative network approximates local non-Hebbian learning in the cortex [12.940770779756482]
  神経科学実験は、皮質ニューロンによる感覚入力の処理は、指示信号によって変調されることを示した。 ここでは、規範的なアプローチを採用し、フィードフォワードデータの投影を導く監督的な入力として、これらの命令信号をモデル化する。 オンラインアルゴリズムは、シナプス学習規則が大脳皮質で観察されるカルシウムプラトー電位依存的な可塑性に類似しているニューラルネットワークによって実装することができる。
  論文  参考訳（メタデータ） (2020-10-23T20:49:44Z)
• A biologically plausible neural network for multi-channel Canonical Correlation Analysis [12.940770779756482]
  皮質錐体ニューロンは、複数の神経集団から入力を受け取り、これらの入力を別々の樹状体区画に統合する。 我々は,生物学的に妥当なニューラルネットワークで実装可能なマルチチャネルCAAアルゴリズムを提案する。 生物学的信頼性のためには、ネットワークはオンライン環境で動作し、シナプス更新ルールはローカルである必要がある。
  論文  参考訳（メタデータ） (2020-10-01T16:17:53Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Blind Bounded Source Separation Using Neural Networks with Local Learning Rules [23.554584457413483]
  我々は新しい最適化問題である境界類似性マッチング(BSM)を提案する。 適応的BSMアルゴリズムの原理的導出は、クリッピング非線形性を持つリカレントニューラルネットワークにつながる。 ネットワークは局所的な学習規則に適応し、ニューロモルフィックハードウェアにおける生物学的妥当性と実装性の両方に重要な制約を満たす。
  論文  参考訳（メタデータ） (2020-04-11T20:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。