論文の概要: Minimum Description Length Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2111.00600v1
- Date: Sun, 31 Oct 2021 21:43:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 14:59:05.147345
- Title: Minimum Description Length Recurrent Neural Networks
- Title(参考訳): 最小記述長リカレントニューラルネットワーク
- Authors: Nur Lan, Michal Geyer, Emmanuel Chemla, Roni Katzir
- Abstract要約: ニューラルネットワークをトレーニングして、最小記述長(Minimum Description Length)スコアを最適化し、ネットワークの複雑さとタスクの精度のバランスをとる。
この目的関数で訓練されたネットワークは、カウントなどのメモリ上の課題を含むマスタータスクをマスターする。
これらの学習者は、例えば$anbn$, $anbncn$, $anb2n$, $anbmcn+m$の文法をマスターし、追加を行う。
- 参考スコア(独自算出の注目度): 1.911678487931003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We train neural networks to optimize a Minimum Description Length score,
i.e., to balance between the complexity of the network and its accuracy at a
task. We show that networks trained with this objective function master tasks
involving memory challenges such as counting, including cases that go beyond
context-free languages. These learners master grammars for, e.g., $a^nb^n$,
$a^nb^nc^n$, $a^nb^{2n}$, and $a^nb^mc^{n+m}$, and they perform addition. They
do so with 100% accuracy, sometimes also with 100% confidence. The networks are
also small and their inner workings are transparent. We thus provide formal
proofs that their perfect accuracy holds not only on a given test set, but for
any input sequence.
- Abstract(参考訳): ニューラルネットワークをトレーニングして、最小記述長(Minimum Description Length)スコアを最適化し、ネットワークの複雑さとタスクの精度のバランスをとる。
この目的関数でトレーニングされたネットワークは、コンテクストフリー言語を超えたケースを含む、カウントなどのメモリ課題を含むタスクをマスターする。
これらの学習者は、例えば$a^nb^n$, $a^nb^nc^n$, $a^nb^{2n}$, $a^nb^mc^{n+m}$の文法をマスターし、加算を行う。
100%の精度で、時には100%の信頼性で行う。
ネットワークも小さく、内部構造は透明である。
したがって、与えられたテストセットだけでなく、任意の入力シーケンスに対して、それらの完全精度が成り立つという公式な証明を与える。
関連論文リスト
- Benchmarking Neural Network Generalization for Grammar Induction [3.2228025627337864]
完全に指定された形式言語に基づくニューラルネットワークの一般化の尺度を提供する。
ベンチマークには、$anbn$, $anbncn$, $anbmcn+m$, Dyck-1, 2などの言語が含まれている。
論文 参考訳(メタデータ) (2023-08-16T09:45:06Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural
Networks [74.4401897731544]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳(メタデータ) (2023-07-13T16:39:08Z) - Memorization Capacity of Neural Networks with Conditional Computation [14.048989759890475]
我々は,$O(sqrtn)$ニューロンを用いたニューラルネットワークを用いて,$n$の入力出力関係の集合を記憶できることを実証した。
条件付きReLUネットワークを用いて,入力あたりのO(log n)$演算のみを用いて同じタスクを実現できることを示す。
論文 参考訳(メタデータ) (2023-03-20T16:33:17Z) - Maximal Initial Learning Rates in Deep ReLU Networks [32.157430904535126]
最大初等学習率$etaast$を導入する。
定幅完全接続型ReLUネットワークでは,学習後の最大学習率とは,$etaast$が異なる動作を示す。
論文 参考訳(メタデータ) (2022-12-14T15:58:37Z) - You Can Have Better Graph Neural Networks by Not Training Weights at
All: Finding Untrained GNNs Tickets [105.24703398193843]
グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。
得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。
また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
論文 参考訳(メタデータ) (2022-11-28T14:17:36Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - There is no Accuracy-Interpretability Tradeoff in Reinforcement Learning
for Mazes [64.05903267230467]
相互理解性は,強化学習システムにおける信頼性に不可欠なビルディングブロックである。
場合によっては、最適性を保ちつつ、政策の解釈可能性を達成することができることを示す。
論文 参考訳(メタデータ) (2022-06-09T04:23:26Z) - Provable Lifelong Learning of Representations [21.440845049501778]
そこで本研究では,内部特徴表現を保守・洗練する,証明可能な生涯学習アルゴリズムを提案する。
すべてのタスクにおける任意の所望の精度に対して、表現の次元は、基礎となる表現の次元に近いままであることを示す。
論文 参考訳(メタデータ) (2021-10-27T00:41:23Z) - On the Optimal Memorization Power of ReLU Neural Networks [53.15475693468925]
フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。
このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
論文 参考訳(メタデータ) (2021-10-07T05:25:23Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳(メタデータ) (2020-06-21T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。