論文の概要: Gluing Neural Networks Symbolically Through Hyperdimensional Computing

• arxiv url: http://arxiv.org/abs/2205.15534v1
• Date: Tue, 31 May 2022 04:44:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 02:38:49.519606
• Title: Gluing Neural Networks Symbolically Through Hyperdimensional Computing
• Title（参考訳）: 超次元計算を象徴するニューラルネットワーク
• Authors: Peter Sutor, Dehao Yuan, Douglas Summers-Stay, Cornelia Fermuller, Yiannis Aloimonos
• Abstract要約: ニューラルネットワークの出力信号の最終的な分類を符号化するためにバイナリハイパーベクタを用いるという概念について検討する。 これにより、複数のニューラルネットワークが協力して問題を解決することができ、オーバーヘッドは少なくなる。 これは、非常に少ないオーバーヘッドを使用しながら、芸術の状態を上回り、あるいはそれと同等であることがわかった。
• 参考スコア（独自算出の注目度）: 8.209945970790741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperdimensional Computing affords simple, yet powerful operations to create long Hyperdimensional Vectors (hypervectors) that can efficiently encode information, be used for learning, and are dynamic enough to be modified on the fly. In this paper, we explore the notion of using binary hypervectors to directly encode the final, classifying output signals of neural networks in order to fuse differing networks together at the symbolic level. This allows multiple neural networks to work together to solve a problem, with little additional overhead. Output signals just before classification are encoded as hypervectors and bundled together through consensus summation to train a classification hypervector. This process can be performed iteratively and even on single neural networks by instead making a consensus of multiple classification hypervectors. We find that this outperforms the state of the art, or is on a par with it, while using very little overhead, as hypervector operations are extremely fast and efficient in comparison to the neural networks. This consensus process can learn online and even grow or lose models in real time. Hypervectors act as memories that can be stored, and even further bundled together over time, affording life long learning capabilities. Additionally, this consensus structure inherits the benefits of Hyperdimensional Computing, without sacrificing the performance of modern Machine Learning. This technique can be extrapolated to virtually any neural model, and requires little modification to employ - one simply requires recording the output signals of networks when presented with a testing example.
• Abstract（参考訳）: 超次元コンピューティングは、情報を効率的にエンコードし、学習に使用し、オンザフライで修正できるほど動的である長大超次元ベクトル(hypervector)を作成するための単純かつ強力な操作を可能にする。 本稿では,二元超ベクトルを用いてニューラルネットワークの出力信号を直接符号化し,異なるネットワークを記号レベルで融合させるという概念について検討する。 これにより、複数のニューラルネットワークが連携して問題を解決することができる。 分類直前の出力信号はハイパーベクトルとして符号化され、コンセンサス和によって束ねられ、分類ハイパーベクトルを訓練する。 このプロセスは、複数の分類ハイパーベクトルのコンセンサスを作ることで、反復的かつ単一のニューラルネットワークでも実行することができる。 これは、ハイパーベクトルの操作がニューラルネットワークに比べて非常に高速で効率的であるため、非常に少ないオーバーヘッドで、最先端やそれと同等のレベルにあることが分かっています。 このコンセンサスプロセスはオンラインで学び、リアルタイムでモデルを成長または失うことができる。 ハイパーベクトルは記憶される記憶として働き、さらに時間とともに束ねられ、生涯学習能力を得ることができる。 さらに、このコンセンサス構造は、現代の機械学習の性能を犠牲にすることなく、超次元コンピューティングの利点を継承する。 このテクニックは、事実上あらゆるニューラルモデルに外挿することができ、採用するためにはほとんど変更を必要とせず、テスト例で提示されたネットワークの出力信号を記録するだけでよい。

関連論文リスト

• Hyperdimensional Computing with Spiking-Phasor Neurons [0.9594432031144714]
  シンボリックベクトルアーキテクチャ(VSAs)は、構成的推論を表現するための強力なフレームワークである。 スパイキングニューロンの基板上でVSAアルゴリズムを実行し、ニューロモルフィックハードウェア上で効率的に動作させることができる。
  論文  参考訳（メタデータ） (2023-02-28T20:09:12Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。