論文の概要: Evolutionary Training and Abstraction Yields Algorithmic Generalization
of Neural Computers
- arxiv url: http://arxiv.org/abs/2105.07957v1
- Date: Mon, 17 May 2021 15:37:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 15:10:38.073802
- Title: Evolutionary Training and Abstraction Yields Algorithmic Generalization
of Neural Computers
- Title(参考訳): 進化的学習と抽象はニューラルコンピュータのアルゴリズム一般化をもたらす
- Authors: Daniel Tanneberg, Elmar Rueckert, Jan Peters
- Abstract要約: 知的行動の重要な特徴は、未知の問題にスケールして移行する抽象的な戦略を学ぶ能力である。
メモリ拡張型ネットワークベースのアーキテクチャであるNeural Harvard Computerを紹介する。
NHCは強力な一般化と抽象化を備えたアルゴリズム解を確実に学習することを示す。
- 参考スコア(独自算出の注目度): 26.829064000815272
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key feature of intelligent behaviour is the ability to learn abstract
strategies that scale and transfer to unfamiliar problems. An abstract strategy
solves every sample from a problem class, no matter its representation or
complexity -- like algorithms in computer science. Neural networks are powerful
models for processing sensory data, discovering hidden patterns, and learning
complex functions, but they struggle to learn such iterative, sequential or
hierarchical algorithmic strategies. Extending neural networks with external
memories has increased their capacities in learning such strategies, but they
are still prone to data variations, struggle to learn scalable and transferable
solutions, and require massive training data. We present the Neural Harvard
Computer (NHC), a memory-augmented network based architecture, that employs
abstraction by decoupling algorithmic operations from data manipulations,
realized by splitting the information flow and separated modules. This
abstraction mechanism and evolutionary training enable the learning of robust
and scalable algorithmic solutions. On a diverse set of 11 algorithms with
varying complexities, we show that the NHC reliably learns algorithmic
solutions with strong generalization and abstraction: perfect generalization
and scaling to arbitrary task configurations and complexities far beyond seen
during training, and being independent of the data representation and the task
domain.
- Abstract(参考訳): 知的行動の重要な特徴は、未知の問題にスケールして移行する抽象的な戦略を学ぶ能力である。
抽象的な戦略は、コンピュータサイエンスのアルゴリズムのように、その表現や複雑さに関係なく、問題クラスのすべてのサンプルを解決します。
ニューラルネットワークは、知覚データを処理し、隠れたパターンを発見し、複雑な関数を学習するための強力なモデルであるが、そのような反復的、逐次的、階層的アルゴリズム戦略を学ぶのに苦労している。
外部記憶によるニューラルネットワークの拡張は、そのような戦略を学ぶ能力を高める一方で、データバリエーションの傾向があり、スケーラブルで転送可能なソリューションを学ぶのに苦労し、大量のトレーニングデータを必要とする。
情報フローと分離モジュールを分割して実現し,データ操作からアルゴリズム操作を分離することで抽象化を行う,メモリ型ネットワークベースアーキテクチャであるneural harvard computer (nhc)を提案する。
この抽象化メカニズムと進化的トレーニングにより、堅牢でスケーラブルなアルゴリズムソリューションの学習が可能になる。
様々な複雑さを持つ11のアルゴリズムの多種多様なセットにおいて、NHCは強力な一般化と抽象性を持つアルゴリズムの解を確実に学習し、任意のタスク構成や複雑さへの完全な一般化とスケーリングを行い、データ表現とタスク領域から独立していることが示される。
関連論文リスト
- Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳(メタデータ) (2024-02-21T12:16:51Z) - Nature-Inspired Local Propagation [68.63385571967267]
自然学習プロセスは、データの表現と学習が局所性を尊重するような方法で交わされるメカニズムに依存している。
ハミルトン方程式の構造を導出した「学習の法則」のアルゴリズム的解釈は、伝播の速度が無限大になるときにバックプロパゲーションに還元されることを示す。
これにより、バックプロパゲーションと提案されたローカルアルゴリズムの置き換えに基づく完全なオンライン情報に基づく機械学習への扉が開く。
論文 参考訳(メタデータ) (2024-02-04T21:43:37Z) - Breaking the Curse of Dimensionality in Deep Neural Networks by Learning
Invariant Representations [1.9580473532948401]
この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。
ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。
本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
論文 参考訳(メタデータ) (2023-10-24T19:50:41Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳(メタデータ) (2023-08-26T08:48:51Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳(メタデータ) (2023-06-30T17:59:13Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳(メタデータ) (2022-10-06T15:36:27Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳(メタデータ) (2021-01-08T18:55:07Z) - Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。
具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。
我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
論文 参考訳(メタデータ) (2020-10-22T17:56:59Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳(メタデータ) (2020-05-04T13:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。