論文の概要: Parallel Learning by Multitasking Neural Networks

• arxiv url: http://arxiv.org/abs/2308.04106v1
• Date: Tue, 8 Aug 2023 07:43:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 13:47:19.530866
• Title: Parallel Learning by Multitasking Neural Networks
• Title（参考訳）: マルチタスクニューラルネットワークによる並列学習
• Authors: Elena Agliari and Andrea Alessandrelli and Adriano Barra and Federico Ricci-Tersenghi
• Abstract要約: 現代の人工知能の課題は、複数のパターンを同時に学習することだ。 マルチタスク・ヘビアン・ネットワークは,このような複雑なタスクを自然に行うことができることを示す。
• 参考スコア（独自算出の注目度）: 1.6799377888527685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A modern challenge of Artificial Intelligence is learning multiple patterns at once (i.e.parallel learning). While this can not be accomplished by standard Hebbian associative neural networks, in this paper we show how the Multitasking Hebbian Network (a variation on theme of the Hopfield model working on sparse data-sets) is naturally able to perform this complex task. We focus on systems processing in parallel a finite (up to logarithmic growth in the size of the network) amount of patterns, mirroring the low-storage level of standard associative neural networks at work with pattern recognition. For mild dilution in the patterns, the network handles them hierarchically, distributing the amplitudes of their signals as power-laws w.r.t. their information content (hierarchical regime), while, for strong dilution, all the signals pertaining to all the patterns are raised with the same strength (parallel regime). Further, confined to the low-storage setting (i.e., far from the spin glass limit), the presence of a teacher neither alters the multitasking performances nor changes the thresholds for learning: the latter are the same whatever the training protocol is supervised or unsupervised. Results obtained through statistical mechanics, signal-to-noise technique and Monte Carlo simulations are overall in perfect agreement and carry interesting insights on multiple learning at once: for instance, whenever the cost-function of the model is minimized in parallel on several patterns (in its description via Statistical Mechanics), the same happens to the standard sum-squared error Loss function (typically used in Machine Learning).
• Abstract（参考訳）: 現代の人工知能の課題は、複数のパターンを同時に学習すること(すなわち並列学習)である。 標準的なヘビアン連想ニューラルネットワークでは実現できないが,本論文では,マルチタスキング・ヘビアン・ネットワーク(ホップフィールドモデルがスパースデータセットに取り組んでいるテーマのバリエーション)が,この複雑なタスクを自然に実行可能であることを示す。 我々は,パターン認識に携わる標準連想ニューラルネットワークの低storageレベルを反映し,有限(ネットワークサイズが対数的に増加するまで)のパターンを並列に処理することに焦点を当てた。 パターンを軽度に希釈するために、ネットワークはそれらを階層的に処理し、それらの信号の振幅をその情報内容(階層的状態)のパワーローとして分配する一方、強い希釈のために、全てのパターンに関連するすべての信号を同じ強度(並列的状態)で引き上げる。 さらに、低ストレージ設定(例えば、スピンガラス限界から遠く離れた)に限定され、教師の存在はマルチタスクのパフォーマンスを変更したり、学習のしきい値を変更したりせず、後者はトレーニングプロトコルが監督または監督されていないものと同じである。 例えば、モデルのコスト関数が複数のパターン(統計力学による記述)で並列に最小化されるたびに、標準的な総和二乗誤差損失関数(一般的に機械学習で使用される)が同じである。

関連論文リスト

• Supervised learning of spatial features with STDP and homeostasis using Spiking Neural Networks on SpiNNaker [42.057348666938736]
  本稿では,スパイクタイミング依存塑性(STDP)とホメオスタシスを用いて,スパイクニューラルネットワーク(SNN)の教師あり学習を行う新しい手法を提案する。 SNNは1つまたは複数のパターンを認識するように訓練され、ネットワークのパフォーマンスを測定するためにパフォーマンスメトリクスが抽出される。 空間パターンを検出するためのSNNの訓練方法は、静的画像のパターン認識やコンピュータネットワークのトラフィック解析に応用できる。
  論文  参考訳（メタデータ） (2023-12-05T10:53:31Z)
• Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes [0.0]
  我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。 我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。 各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
  論文  参考訳（メタデータ） (2023-08-01T22:12:30Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Dense Hebbian neural networks: a replica symmetric picture of supervised learning [4.133728123207142]
  我々は教師が指導する高密度で連想的なニューラルネットについて検討する。 スピングラスの統計力学およびモンテカルロシミュレーションによる数値計算能力の解析を行った。
  論文  参考訳（メタデータ） (2022-11-25T13:37:47Z)
• The impact of memory on learning sequence-to-sequence tasks [6.603326895384289]
  自然言語処理におけるニューラルネットワークの最近の成功は、シーケンシャル・ツー・シーケンス(seq2seq)タスクに新たな注目を集めている。 本稿では,シークエンスにおけるメモリの次数,すなわち非マルコビアン性に対する明示的な制御の利点を生かしたSeq2seqタスクのモデルを提案する。
  論文  参考訳（メタデータ） (2022-05-29T14:57:33Z)
• Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping [7.0064929761691745]
  本稿では,非コントラスト型自己教師型学習手法を提案する。 提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。 モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-04-24T14:39:47Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。