論文の概要: Recurrent Convolutional Neural Networks Learn Succinct Learning Algorithms

• arxiv url: http://arxiv.org/abs/2209.00735v1
• Date: Thu, 1 Sep 2022 21:55:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 12:10:17.169219
• Title: Recurrent Convolutional Neural Networks Learn Succinct Learning Algorithms
• Title（参考訳）: 繰り返し畳み込みニューラルネットワークは帰属学習アルゴリズムを学習する
• Authors: Surbhi Goel, Sham Kakade, Adam Tauman Kalai, Cyril Zhang
• Abstract要約: 一定サイズの学習アルゴリズムで記述可能な任意の効率的な学習アルゴリズムと同様に、学習するNNアーキテクチャを示す。 私たちのアーキテクチャは、レイヤ間の繰り返しの重み付けと畳み込みの重み付けの両方を組み合わせて、パラメータの数を一定に減らします。 実際には、我々の分析の定数は、直接的に意味を持つには大きすぎるが、我々の研究は、RecurrentとConvolutional NNの相乗効果が、どちらよりも強力である可能性を示唆している。
• 参考スコア（独自算出の注目度）: 25.1675203905385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Networks (NNs) struggle to efficiently learn certain problems, such as parity problems, even when there are simple learning algorithms for those problems. Can NNs discover learning algorithms on their own? We exhibit a NN architecture that, in polynomial time, learns as well as any efficient learning algorithm describable by a constant-sized learning algorithm. For example, on parity problems, the NN learns as well as row reduction, an efficient algorithm that can be succinctly described. Our architecture combines both recurrent weight-sharing between layers and convolutional weight-sharing to reduce the number of parameters down to a constant, even though the network itself may have trillions of nodes. While in practice the constants in our analysis are too large to be directly meaningful, our work suggests that the synergy of Recurrent and Convolutional NNs (RCNNs) may be more powerful than either alone.
• Abstract（参考訳）: ニューラルネットワーク(NN)は、それらの問題に対して単純な学習アルゴリズムがある場合でも、パリティ問題のような特定の問題を効率的に学習するのに苦労する。 NNは学習アルゴリズムを自分で発見できるのか? 我々は、多項式時間で学習するNNアーキテクチャと、定数サイズの学習アルゴリズムで記述可能な効率的な学習アルゴリズムを示す。 例えば、パリティ問題では、NNは簡潔に記述できる効率的なアルゴリズムである行の削減と同様に学習する。 我々のアーキテクチャは、ネットワーク自体に数兆のノードがあるとしても、レイヤ間の繰り返し重み共有と畳み込み重み共有の両方を組み合わせてパラメータの数を一定に減らします。 実際には、我々の分析の定数は直接的に意味を持つには大きすぎるが、我々の研究は、リカレントと畳み込みNN(RCNN)のシナジーが、どちらよりも強力である可能性を示唆している。

関連論文リスト

• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Graph Neural Networks are Dynamic Programmers [0.0]
  グラフニューラルネットワーク(GNN)は動的プログラミング(DP)と一致すると主張される ここでは、理論と抽象代数学の手法を用いて、GNNとDPの間に複雑な関係が存在することを示す。
  論文  参考訳（メタデータ） (2022-03-29T13:27:28Z)
• Mining the Weights Knowledge for Optimizing Neural Network Structures [1.995792341399967]
  タスク固有のニューラルネットワーク(略してTNN)の重みを入力として使用するスイッチャーニューラルネットワーク(SNN)を導入する。 重みに含まれる知識をマイニングすることで、SNNはTNNのニューロンをオフにするスケーリング因子を出力する。 精度の面では,ベースラインネットワークやその他の構造学習手法を安定的に,かつ著しく上回っている。
  論文  参考訳（メタデータ） (2021-10-11T05:20:56Z)
• Neural network relief: a pruning algorithm based on neural activity [68.12222731020694]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• Some thoughts on catastrophic forgetting and how to learn an algorithm [0.0]
  我々は,二進数の追加に対して正しいアルゴリズムを復元するためにトレーニング可能な,異なるアーキテクチャを持つニューラルネットワークを提案する。 ニューラルネットワークは破滅的な忘れ物に苦しむだけでなく、トレーニングが進むにつれて、目に見えない数字の予測能力を向上させる。
  論文  参考訳（メタデータ） (2021-08-09T11:12:43Z)
• Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks [47.54459795966417]
  単純な問題を解くために訓練されたリカレントネットワークは、推論中に追加の繰り返しを実行するだけで、はるかに複雑な問題を解くことができることを示す。 これら3つのドメインすべてにおいて、単純な問題インスタンスに基づいてトレーニングされたネットワークは、単に"もっと長く考える"ことで、テスト時に推論能力を拡張することができる。
  論文  参考訳（メタデータ） (2021-06-08T17:19:48Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Artificial Neural Network Pruning to Extract Knowledge [0.0]
  本稿では,これらの問題を解決するための基本的NN単純化問題と制御プルーニング手順を列挙する。 提案手法は,各タスクに対するNNの最適構造を確認し,各入力信号とNNパラメータの影響を測定し,NNのアルゴリズムとスキルの詳細な記述を提供する。
  論文  参考訳（メタデータ） (2020-05-13T12:24:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。