論文の概要: Characterizing the Weight Space for Different Learning Models

• arxiv url: http://arxiv.org/abs/2006.02724v1
• Date: Thu, 4 Jun 2020 09:30:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 09:26:32.830613
• Title: Characterizing the Weight Space for Different Learning Models
• Title（参考訳）: 異なる学習モデルのための重み空間の特徴付け
• Authors: Saurav Musunuru, Jay N. Paranjape, Rahul Kumar Dubey and Vijendran G. Venkoparao
• Abstract要約: ディープラーニングは、インテリジェントマシンの開発において、主要な研究領域の1つになっている。 本稿では,3つのサブセットの観点から,ディープニューラルネットワークの解空間を特徴付ける。 敵の攻撃は一般にディープニューラルネットワークよりも連想記憶モデルに対して成功していないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning has become one of the primary research areas in developing intelligent machines. Most of the well-known applications (such as Speech Recognition, Image Processing and NLP) of AI are driven by Deep Learning. Deep Learning algorithms mimic human brain using artificial neural networks and progressively learn to accurately solve a given problem. But there are significant challenges in Deep Learning systems. There have been many attempts to make deep learning models imitate the biological neural network. However, many deep learning models have performed poorly in the presence of adversarial examples. Poor performance in adversarial examples leads to adversarial attacks and in turn leads to safety and security in most of the applications. In this paper we make an attempt to characterize the solution space of a deep neural network in terms of three different subsets viz. weights belonging to exact trained patterns, weights belonging to generalized pattern set and weights belonging to adversarial pattern sets. We attempt to characterize the solution space with two seemingly different learning paradigms viz. the Deep Neural Networks and the Dense Associative Memory Model, which try to achieve learning via quite different mechanisms. We also show that adversarial attacks are generally less successful against Associative Memory Models than Deep Neural Networks.
• Abstract（参考訳）: ディープラーニングは、インテリジェントマシン開発の主要な研究分野の1つになっている。 AIの一般的なアプリケーション(音声認識、画像処理、NLPなど)のほとんどはディープラーニングによって駆動される。 ディープラーニングアルゴリズムは、ニューラルネットワークを使って人間の脳を模倣し、与えられた問題を解決するために徐々に学習する。 しかし、ディープラーニングシステムには大きな課題がある。 深層学習モデルを生物学的ニューラルネットワークを模倣する試みが数多く行われている。 しかし、多くのディープラーニングモデルは、敵対的な例の存在下では不十分である。 逆さまの例ではパフォーマンスが悪く、敵の攻撃につながり、結果としてほとんどのアプリケーションにおける安全性とセキュリティにつながる。 本稿では, ニューラルネットワークの解空間を, 正確に訓練されたパターンに属する3つのサブセット, 一般化されたパターン集合に属する重み, 敵のパターン集合に属する重みの3つの異なる部分集合で特徴づける試みを行う。 我々は,2つの一見異なる学習パラダイムvizで解空間を特徴付けることを試みる。ディープニューラルネットワークと密結合メモリモデルは,全く異なるメカニズムで学習を達成しようとする。 また、敵攻撃は一般的にディープニューラルネットワークよりも連想記憶モデルに対して成功していないことを示す。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• A Survey on State-of-the-art Deep Learning Applications and Challenges [0.0]
  ディープラーニングモデルの構築は、アルゴリズムの複雑さと現実世界の問題の動的な性質のため、難しい。 本研究の目的は,コンピュータビジョン,自然言語処理,時系列解析,広範コンピューティングにおける最先端のディープラーニングモデルを網羅的にレビューすることである。
  論文  参考訳（メタデータ） (2024-03-26T10:10:53Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
  神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。 一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。 我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
  論文  参考訳（メタデータ） (2023-07-27T17:46:17Z)
• Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
  本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。 我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-07T13:08:46Z)
• Are Deep Neural Networks SMARTer than Second Graders? [85.60342335636341]
  6～8歳児を対象としたビジュオ言語パズルの解法において,ニューラルネットワークの抽象化,推論,一般化能力の評価を行った。 我々のデータセットは101のユニークなパズルで構成されており、各パズルは絵の質問で構成されており、それらの解には算術、代数学、空間推論を含むいくつかの基本的なスキルが混在している必要がある。 実験により、強力なディープモデルは教師付き設定でパズルに合理的な性能を与えるが、一般化のために解析するとランダムな精度よりは良くないことが明らかになった。
  論文  参考訳（メタデータ） (2022-12-20T04:33:32Z)
• Continual Learning with Deep Learning Methods in an Application-Oriented Context [0.0]
  人工知能(AI)の重要な研究領域は、データから知識を自動的に導出することである。 ディープニューラルネットワーク(Deep Neural Networks, DNN)と呼ばれる、"ディープラーニング"モデルに分類される機械学習アルゴリズムの一種。 DNNは、新しい知識が既存のベースに追加されるのを防ぐ問題の影響を受けます。
  論文  参考訳（メタデータ） (2022-07-12T10:13:33Z)
• Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
  自律運転システムには2つの主要なアルゴリズムアプローチがある。 ディープラーニングだけでは、多くの分野で最先端の結果が得られています。 しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
  論文  参考訳（メタデータ） (2022-03-28T20:29:50Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。