論文の概要: Evolutionary Training and Abstraction Yields Algorithmic Generalization of Neural Computers

• arxiv url: http://arxiv.org/abs/2105.07957v1
• Date: Mon, 17 May 2021 15:37:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 15:10:38.073802
• Title: Evolutionary Training and Abstraction Yields Algorithmic Generalization of Neural Computers
• Title（参考訳）: 進化的学習と抽象はニューラルコンピュータのアルゴリズム一般化をもたらす
• Authors: Daniel Tanneberg, Elmar Rueckert, Jan Peters
• Abstract要約: 知的行動の重要な特徴は、未知の問題にスケールして移行する抽象的な戦略を学ぶ能力である。 メモリ拡張型ネットワークベースのアーキテクチャであるNeural Harvard Computerを紹介する。 NHCは強力な一般化と抽象化を備えたアルゴリズム解を確実に学習することを示す。
• 参考スコア（独自算出の注目度）: 26.829064000815272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key feature of intelligent behaviour is the ability to learn abstract strategies that scale and transfer to unfamiliar problems. An abstract strategy solves every sample from a problem class, no matter its representation or complexity -- like algorithms in computer science. Neural networks are powerful models for processing sensory data, discovering hidden patterns, and learning complex functions, but they struggle to learn such iterative, sequential or hierarchical algorithmic strategies. Extending neural networks with external memories has increased their capacities in learning such strategies, but they are still prone to data variations, struggle to learn scalable and transferable solutions, and require massive training data. We present the Neural Harvard Computer (NHC), a memory-augmented network based architecture, that employs abstraction by decoupling algorithmic operations from data manipulations, realized by splitting the information flow and separated modules. This abstraction mechanism and evolutionary training enable the learning of robust and scalable algorithmic solutions. On a diverse set of 11 algorithms with varying complexities, we show that the NHC reliably learns algorithmic solutions with strong generalization and abstraction: perfect generalization and scaling to arbitrary task configurations and complexities far beyond seen during training, and being independent of the data representation and the task domain.
• Abstract（参考訳）: 知的行動の重要な特徴は、未知の問題にスケールして移行する抽象的な戦略を学ぶ能力である。 抽象的な戦略は、コンピュータサイエンスのアルゴリズムのように、その表現や複雑さに関係なく、問題クラスのすべてのサンプルを解決します。 ニューラルネットワークは、知覚データを処理し、隠れたパターンを発見し、複雑な関数を学習するための強力なモデルであるが、そのような反復的、逐次的、階層的アルゴリズム戦略を学ぶのに苦労している。 外部記憶によるニューラルネットワークの拡張は、そのような戦略を学ぶ能力を高める一方で、データバリエーションの傾向があり、スケーラブルで転送可能なソリューションを学ぶのに苦労し、大量のトレーニングデータを必要とする。 情報フローと分離モジュールを分割して実現し,データ操作からアルゴリズム操作を分離することで抽象化を行う,メモリ型ネットワークベースアーキテクチャであるneural harvard computer (nhc)を提案する。 この抽象化メカニズムと進化的トレーニングにより、堅牢でスケーラブルなアルゴリズムソリューションの学習が可能になる。 様々な複雑さを持つ11のアルゴリズムの多種多様なセットにおいて、NHCは強力な一般化と抽象性を持つアルゴリズムの解を確実に学習し、任意のタスク構成や複雑さへの完全な一般化とスケーリングを行い、データ表現とタスク領域から独立していることが示される。

関連論文リスト

• VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning [86.59849798539312]
  本稿では,記号的・神経的知識表現の強みを組み合わせた一階抽象言語Neuro-Symbolic Predicatesを提案する。 提案手法は, サンプルの複雑さの向上, 分布外一般化の強化, 解釈可能性の向上を実現する。
  論文  参考訳（メタデータ） (2024-10-30T16:11:05Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Artificial Neural Network and Deep Learning: Fundamentals and Theory [0.0]
  この本は、データと確率分布を理解するための確固たる基礎を定めている。 この本は多層フィードフォワードニューラルネットワークに発展し、アーキテクチャ、トレーニングプロセス、バックプロパゲーションアルゴリズムを説明する。 テキストは様々な学習率スケジュールと適応アルゴリズムをカバーし、トレーニングプロセスを最適化するための戦略を提供する。
  論文  参考訳（メタデータ） (2024-08-12T21:06:59Z)
• A Survey on State-of-the-art Deep Learning Applications and Challenges [0.0]
  ディープラーニングモデルの構築は、アルゴリズムの複雑さと現実世界の問題の動的な性質のため、難しい。 本研究の目的は,コンピュータビジョン,自然言語処理,時系列解析,広範コンピューティングにおける最先端のディープラーニングモデルを網羅的にレビューすることである。
  論文  参考訳（メタデータ） (2024-03-26T10:10:53Z)
• Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
  ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。 この論文は、この領域の研究に理論的および実践的な貢献を提供する。
  論文  参考訳（メタデータ） (2024-02-21T12:16:51Z)
• Breaking the Curse of Dimensionality in Deep Neural Networks by Learning Invariant Representations [1.9580473532948401]
  この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。 ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。 本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:41Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。