Fugu-MT 論文翻訳(概要): Minimum Description Length Recurrent Neural Networks

論文の概要: Minimum Description Length Recurrent Neural Networks

arxiv url: http://arxiv.org/abs/2111.00600v1
Date: Sun, 31 Oct 2021 21:43:31 GMT
ステータス: 処理完了
システム内更新日: 2021-11-02 14:59:05.147345
Title: Minimum Description Length Recurrent Neural Networks
Title（参考訳）: 最小記述長リカレントニューラルネットワーク
Authors: Nur Lan, Michal Geyer, Emmanuel Chemla, Roni Katzir
Abstract要約: ニューラルネットワークをトレーニングして、最小記述長(Minimum Description Length)スコアを最適化し、ネットワークの複雑さとタスクの精度のバランスをとる。この目的関数で訓練されたネットワークは、カウントなどのメモリ上の課題を含むマスタータスクをマスターする。これらの学習者は、例えば$anbn$, $anbncn$, $anb2n$, $anbmcn+m$の文法をマスターし、追加を行う。
参考スコア（独自算出の注目度）: 1.911678487931003
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We train neural networks to optimize a Minimum Description Length score, i.e., to balance between the complexity of the network and its accuracy at a task. We show that networks trained with this objective function master tasks involving memory challenges such as counting, including cases that go beyond context-free languages. These learners master grammars for, e.g., $a^nb^n$, $a^nb^nc^n$, $a^nb^{2n}$, and $a^nb^mc^{n+m}$, and they perform addition. They do so with 100% accuracy, sometimes also with 100% confidence. The networks are also small and their inner workings are transparent. We thus provide formal proofs that their perfect accuracy holds not only on a given test set, but for any input sequence.
Abstract（参考訳）: ニューラルネットワークをトレーニングして、最小記述長(Minimum Description Length)スコアを最適化し、ネットワークの複雑さとタスクの精度のバランスをとる。この目的関数でトレーニングされたネットワークは、コンテクストフリー言語を超えたケースを含む、カウントなどのメモリ課題を含むタスクをマスターする。これらの学習者は、例えば$a^nb^n$, $a^nb^nc^n$, $a^nb^{2n}$, $a^nb^mc^{n+m}$の文法をマスターし、加算を行う。 100%の精度で、時には100%の信頼性で行う。ネットワークも小さく、内部構造は透明である。したがって、与えられたテストセットだけでなく、任意の入力シーケンスに対して、それらの完全精度が成り立つという公式な証明を与える。

関連論文リスト

Neural Networks Generalize on Low Complexity Data [5.678271181959529]
本稿では、ReLUを活性化したフィードフォワードニューラルネットワークが、低複雑性データに基づいて一般化されていることを示す。我々は、そのようなネットワークの記述長の概念とともに、この単純なプログラミング言語を定義する。自然数の素性チェックなどの基本的な計算タスクの例を示す。
論文参考訳（メタデータ） (2024-09-19T03:54:49Z)
Mathematical Models of Computation in Superposition [0.9374652839580183]
重ね合わせは、現在のAIシステムを機械的に解釈する上で深刻な課題となる。重ね合わせにおけるエンフン計算の数学的モデルを提案し, 重ね合わせはタスクを効率的に遂行するのに有効である。我々は、重ね合わせで計算を実装するニューラルネットワークを解釈する研究の潜在的な応用について、結論付けている。
論文参考訳（メタデータ） (2024-08-10T06:11:48Z)
Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文参考訳（メタデータ） (2024-05-07T12:20:12Z)
Robustness Verifcation in Neural Networks [0.0]
ニューラルネットワーク計算における形式的検証問題について検討する。 1つの疑問は、ネットワークが有効な出力を計算するような有効な入力が存在するかどうかである。半線形環境では,この問題が克服可能であることを示す。
論文参考訳（メタデータ） (2024-03-20T09:34:38Z)
Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文参考訳（メタデータ） (2023-07-13T16:39:08Z)
Maximal Initial Learning Rates in Deep ReLU Networks [32.157430904535126]
最大初等学習率$etaast$を導入する。定幅完全接続型ReLUネットワークでは,学習後の最大学習率とは,$etaast$が異なる動作を示す。
論文参考訳（メタデータ） (2022-12-14T15:58:37Z)
You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
論文参考訳（メタデータ） (2022-11-28T14:17:36Z)
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文参考訳（メタデータ） (2022-08-08T03:13:24Z)
Provable Lifelong Learning of Representations [21.440845049501778]
そこで本研究では,内部特徴表現を保守・洗練する,証明可能な生涯学習アルゴリズムを提案する。すべてのタスクにおける任意の所望の精度に対して、表現の次元は、基礎となる表現の次元に近いままであることを示す。
論文参考訳（メタデータ） (2021-10-27T00:41:23Z)
On the Optimal Memorization Power of ReLU Neural Networks [53.15475693468925]
フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
論文参考訳（メタデータ） (2021-10-07T05:25:23Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。