論文の概要: DecisiveNets: Training Deep Associative Memories to Solve Complex Machine Learning Problems

• arxiv url: http://arxiv.org/abs/2012.01509v1
• Date: Wed, 2 Dec 2020 20:22:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 03:50:30.948403
• Title: DecisiveNets: Training Deep Associative Memories to Solve Complex Machine Learning Problems
• Title（参考訳）: DecisiveNets: 複雑な機械学習問題を解決するための深い連想記憶のトレーニング
• Authors: Vincent Gripon, Carlos Lassance, Ghouthi Boukli Hacene
• Abstract要約: 本稿では,ディープニューラルネットワークモデルからディープ連想記憶への変換手法を提案する。 結果として生じる深い連想記憶は、人工知能の優れた候補である。
• 参考スコア（独自算出の注目度）: 4.83420384410068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning deep representations to solve complex machine learning tasks has become the prominent trend in the past few years. Indeed, Deep Neural Networks are now the golden standard in domains as various as computer vision, natural language processing or even playing combinatorial games. However, problematic limitations are hidden behind this surprising universal capability. Among other things, explainability of the decisions is a major concern, especially since deep neural networks are made up of a very large number of trainable parameters. Moreover, computational complexity can quickly become a problem, especially in contexts constrained by real time or limited resources. Therefore, understanding how information is stored and the impact this storage can have on the system remains a major and open issue. In this chapter, we introduce a method to transform deep neural network models into deep associative memories, with simpler, more explicable and less expensive operations. We show through experiments that these transformations can be done without penalty on predictive performance. The resulting deep associative memories are excellent candidates for artificial intelligence that is easier to theorize and manipulate.
• Abstract（参考訳）: 複雑な機械学習タスクを解決するための深層表現の学習は、ここ数年で重要なトレンドとなっている。 実際、Deep Neural Networksは現在、コンピュータビジョン、自然言語処理、さらには組合せゲームといった分野における黄金の標準となっている。 しかし、この驚くべき普遍能力の裏には、問題のある制限が隠されている。 特にディープニューラルネットワークは、非常に多くのトレーニング可能なパラメータで構成されているため、決定の可否が大きな懸念事項である。 さらに、計算複雑性は、特にリアルタイムや限られたリソースによって制約されたコンテキストにおいて、すぐに問題となることがある。 したがって、情報がどのように保存され、このストレージがシステムに与える影響を理解することは、大きな問題であり、未解決のままである。 本章では,ディープニューラルネットワークモデルをよりシンプルで説明しやすい,安価な操作で,深い連想記憶に変換する手法を紹介する。 これらの変換が予測性能にペナルティを課さずに行えることを実験を通して示す。 その結果得られる深い連想記憶は、理論化や操作が容易な人工知能の優れた候補である。

関連論文リスト

• Brain-Inspired Computational Intelligence via Predictive Coding [89.6335791546526]
  予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。 PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
  論文  参考訳（メタデータ） (2023-08-15T16:37:16Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Collective Intelligence for Deep Learning: A Survey of Recent Developments [11.247894240593691]
  我々は、複雑なシステムへのニューラルネットワーク研究の関与に関する歴史的文脈を提供する。 我々は,集合知の原理を取り入れた,現代のディープラーニング研究の活発な領域をいくつか取り上げる。
  論文  参考訳（メタデータ） (2021-11-29T08:39:32Z)
• Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks [47.54459795966417]
  単純な問題を解くために訓練されたリカレントネットワークは、推論中に追加の繰り返しを実行するだけで、はるかに複雑な問題を解くことができることを示す。 これら3つのドメインすべてにおいて、単純な問題インスタンスに基づいてトレーニングされたネットワークは、単に"もっと長く考える"ことで、テスト時に推論能力を拡張することができる。
  論文  参考訳（メタデータ） (2021-06-08T17:19:48Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems [51.132938969015825]
  我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。 再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
  論文  参考訳（メタデータ） (2021-02-22T14:09:20Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Complex Vehicle Routing with Memory Augmented Neural Networks [2.5331228143087565]
  複雑な実生活のルーティング課題は、よく知られた最適化問題のバリエーションとしてモデル化できる。 Deep Learningは、従来のソリューションに代わる、ますます魅力的な選択肢を提供する。 近年、ディープラーニングモデルは複雑なタスクを解く驚くべき能力を示している。
  論文  参考訳（メタデータ） (2020-09-22T13:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。