論文の概要: Controlling Recurrent Neural Networks by Diagonal Conceptors

• arxiv url: http://arxiv.org/abs/2107.07968v1
• Date: Fri, 16 Jul 2021 15:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 03:13:46.894957
• Title: Controlling Recurrent Neural Networks by Diagonal Conceptors
• Title（参考訳）: 対角コンセプタによるリカレントニューラルネットワークの制御
• Authors: J.P. de Jong
• Abstract要約: 概念的(conceptors)と呼ばれる神経力学機構は、繰り返しニューラルネットワークの力学を制御する方法を提供する。 対角行列である対角行列の概念の変種が導入された。 対角線の概念は 標準のフルマトリックス概念の 代替案として有望な 実用性を示します
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The human brain is capable of learning, memorizing, and regenerating a panoply of temporal patterns. A neuro-dynamical mechanism called conceptors offers a method for controlling the dynamics of a recurrent neural network by which a variety of temporal patterns can be learned and recalled. However, conceptors are matrices whose size scales quadratically with the number of neurons in the recurrent neural network, hence they quickly become impractical. In the work reported in this thesis, a variation of conceptors is introduced, called diagonal conceptors, which are diagonal matrices, thus reducing the computational cost drastically. It will be shown that diagonal conceptors achieve the same accuracy as conceptors, but are slightly more unstable. This instability can be improved, but requires further research. Nevertheless, diagonal conceptors show to be a promising practical alternative to the standard full matrix conceptors.
• Abstract（参考訳）: 人間の脳は、時間的パターンを学習し、記憶し、再生することができる。 概念と呼ばれる神経力学メカニズムは、様々な時間的パターンを学習し、リコールできる再帰型ニューラルネットワークのダイナミクスを制御する方法を提供する。 しかし、コンセプタは、リカレントニューラルネットワークのニューロン数と四倍スケールの行列であり、それらはすぐに非現実的になる。 この論文で報告された研究では、対角行列である対角線概念と呼ばれる様々な概念が導入されたため、計算コストが劇的に削減される。 対角線の概念体は概念体と同じ精度を達成するが、より不安定である。 この不安定性は改善できるが、さらなる研究が必要である。 それにもかかわらず、対角概念は標準フルマトリクス概念の代替として有望なものであることが示されている。

関連論文リスト

• Reconstruction of neuromorphic dynamics from a single scalar time series using variational autoencoder and neural network map [0.0]
  ホジキン・ハクスリー形式に基づく生理ニューロンのモデルを考える。 その変数の1つの時系列は、離散時間力学系として動作可能なニューラルネットワークをトレーニングするのに十分なものであることが示されている。
  論文  参考訳（メタデータ） (2024-11-11T15:15:55Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Large Language Models Relearn Removed Concepts [21.733308901113137]
  モデルにおける概念再学習を、再訓練中のプルーニングニューロンにおける概念の正当性と類似性を追跡することによって評価する。 以上の結果から, モデルでは, 先進的な概念を以前の階層に移動させ, プリードされた概念を類似した意味を持つ素性ニューロンに再配置することで, 高速に性能を回復できることが判明した。
  論文  参考訳（メタデータ） (2024-01-03T16:15:57Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Hyperdimensional Computing with Spiking-Phasor Neurons [0.9594432031144714]
  シンボリックベクトルアーキテクチャ(VSAs)は、構成的推論を表現するための強力なフレームワークである。 スパイキングニューロンの基板上でVSAアルゴリズムを実行し、ニューロモルフィックハードウェア上で効率的に動作させることができる。
  論文  参考訳（メタデータ） (2023-02-28T20:09:12Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Kernelized Concept Erasure [108.65038124096907]
  概念消去のための線形ミニマックスゲームのカーネル化を提案する。 特定の非線形敵が概念を予測するのを防ぐことができる。 しかし、保護は異なる非線形敵に移動しない。
  論文  参考訳（メタデータ） (2022-01-28T15:45:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Classical and Quantum Algorithms for Orthogonal Neural Networks [4.817429789586127]
  我々は、直交行列乗算を実装した、ピラミッド回路と呼ばれる新しいタイプのニューラルネットワーク層を導入する。 このアルゴリズムは量子コンピューティングにインスパイアされているため、古典的なコンピュータや短期的な量子コンピュータにも適用することができる。
  論文  参考訳（メタデータ） (2021-06-14T07:13:00Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。