論文の概要: Recurrent Convolutional Neural Networks Learn Succinct Learning Algorithms

• arxiv url: http://arxiv.org/abs/2209.00735v1
• Date: Thu, 1 Sep 2022 21:55:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 12:10:17.169219
• Title: Recurrent Convolutional Neural Networks Learn Succinct Learning Algorithms
• Title（参考訳）: 繰り返し畳み込みニューラルネットワークは帰属学習アルゴリズムを学習する
• Authors: Surbhi Goel, Sham Kakade, Adam Tauman Kalai, Cyril Zhang
• Abstract要約: 一定サイズの学習アルゴリズムで記述可能な任意の効率的な学習アルゴリズムと同様に、学習するNNアーキテクチャを示す。 私たちのアーキテクチャは、レイヤ間の繰り返しの重み付けと畳み込みの重み付けの両方を組み合わせて、パラメータの数を一定に減らします。 実際には、我々の分析の定数は、直接的に意味を持つには大きすぎるが、我々の研究は、RecurrentとConvolutional NNの相乗効果が、どちらよりも強力である可能性を示唆している。
• 参考スコア（独自算出の注目度）: 25.1675203905385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Networks (NNs) struggle to efficiently learn certain problems, such as parity problems, even when there are simple learning algorithms for those problems. Can NNs discover learning algorithms on their own? We exhibit a NN architecture that, in polynomial time, learns as well as any efficient learning algorithm describable by a constant-sized learning algorithm. For example, on parity problems, the NN learns as well as row reduction, an efficient algorithm that can be succinctly described. Our architecture combines both recurrent weight-sharing between layers and convolutional weight-sharing to reduce the number of parameters down to a constant, even though the network itself may have trillions of nodes. While in practice the constants in our analysis are too large to be directly meaningful, our work suggests that the synergy of Recurrent and Convolutional NNs (RCNNs) may be more powerful than either alone.
• Abstract（参考訳）: ニューラルネットワーク(NN)は、それらの問題に対して単純な学習アルゴリズムがある場合でも、パリティ問題のような特定の問題を効率的に学習するのに苦労する。 NNは学習アルゴリズムを自分で発見できるのか? 我々は、多項式時間で学習するNNアーキテクチャと、定数サイズの学習アルゴリズムで記述可能な効率的な学習アルゴリズムを示す。 例えば、パリティ問題では、NNは簡潔に記述できる効率的なアルゴリズムである行の削減と同様に学習する。 我々のアーキテクチャは、ネットワーク自体に数兆のノードがあるとしても、レイヤ間の繰り返し重み共有と畳み込み重み共有の両方を組み合わせてパラメータの数を一定に減らします。 実際には、我々の分析の定数は直接的に意味を持つには大きすぎるが、我々の研究は、リカレントと畳み込みNN(RCNN)のシナジーが、どちらよりも強力である可能性を示唆している。

関連論文リスト

• The Deep Equilibrium Algorithmic Reasoner [20.375241527453447]
  グラフニューラルネットワーク(GNN)が古典的アルゴリズムの実行を学習できることを示す。 我々は、ネットワークをトレーニングしてアルゴリズムの問題を解き、直接平衡を求めることができることを予想し、実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-09T14:46:50Z)
• NN-Steiner: A Mixed Neural-algorithmic Approach for the Rectilinear Steiner Minimum Tree Problem [5.107107601277712]
  ICレイアウト設計において重要となるリチ線形スタイナー最小木(RSMT)問題に着目する。 提案するNN-Steinerは,RSMTを演算するための新しいニューラル・アルゴリズムフレームワークである。 特にNN-Steinerは、アルゴリズムフレームワーク内で繰り返し呼び出される4つのニューラルネットワーク(NN)コンポーネントのみを必要とする。
  論文  参考訳（メタデータ） (2023-12-17T02:42:11Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Neural Algorithmic Reasoning for Combinatorial Optimisation [20.36694807847833]
  ニューラル推論の最近の進歩を活用して,CO問題の学習を改善することを提案する。 私たちは、COインスタンスでトレーニングする前に、関連するアルゴリズムでニューラルネットワークを事前トレーニングすることを提案します。 以上の結果から,この学習装置を用いることで,非アルゴリズム的情報深層学習モデルよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-18T13:59:02Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks [47.54459795966417]
  単純な問題を解くために訓練されたリカレントネットワークは、推論中に追加の繰り返しを実行するだけで、はるかに複雑な問題を解くことができることを示す。 これら3つのドメインすべてにおいて、単純な問題インスタンスに基づいてトレーニングされたネットワークは、単に"もっと長く考える"ことで、テスト時に推論能力を拡張することができる。
  論文  参考訳（メタデータ） (2021-06-08T17:19:48Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Artificial Neural Network Pruning to Extract Knowledge [0.0]
  本稿では,これらの問題を解決するための基本的NN単純化問題と制御プルーニング手順を列挙する。 提案手法は,各タスクに対するNNの最適構造を確認し,各入力信号とNNパラメータの影響を測定し,NNのアルゴリズムとスキルの詳細な記述を提供する。
  論文  参考訳（メタデータ） (2020-05-13T12:24:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。